11 - Modelos de Naive Bayes: explicación detallada

Enero 9, 2024 por Miguel Sotaquirá

Lección 11 del curso Probabilidad Nivel Avanzado.

En la lección anterior vimos qué son y para qué sirven los Modelos de Naive Bayes y esto nos permitió tener una idea general de la utilidad que tienen estos modelos para realizar tareas de clasificación en el Machine Learning.

Así que en esta lección veremos todo el componente matemático y los detalles que nos permitirán entender cómo entrenar y generar predicciones con estos modelos.

Y en el primer video de la lección comenzaremos planteando un sencillo problema hipotético de clasificación para posteriormente formalizar matemáticamente el problema que nos permitirán resolver estos Modelos de Naive Bayes:

Muy bien, acabamos de plantear matemáticamente el objetivo de los Modelos de Naive Bayes, que consiste en asignar una categoría a un dato con base en un cierto número de características.

Así que un Modelo de Naive Bayes tendrá como entradas un conjunto de características y como salida la probabilidad de que un dato pertenezca a una u otra categoría dependiendo de dichas características.

Y para calcular estas probabilidades haremos uso de un cálculo aproximado del Teorema de Bayes. Así que veamos en detalle en qué consiste este cálculo:

Perfecto, acabamos de ver que en esencia los Modelos de Naive Bayes hacen uso de una versión simplificada del teorema de Bayes. Y esta aproximación se conoce precisamente como una aproximación “ingenua” (o “naive” en Inglés) y es la que da precisamente el nombre a estos modelos.

Esta aproximación asume que las características usadas a la entrada del modelo son independientes lo cual no necesariamente es del todo cierto.

Sin embargo, a pesar de esta aproximación, en la práctica los modelos de Naive Bayes funcionan bastante bien y permiten resolver una amplia variedad de problemas en el ámbito del Machine Learning.

Teniendo clara la idea central de estos modelos de Naive Bayes, en el siguiente video veremos varios aspectos prácticos que usualmente debemos tener en cuenta al momento de implementar computacionalmente estos modelos:

Acabamos de ver que en esencia tendremos dos grandes familias de modelos de Naive Bayes: los gaussianos y los multinomiales y de Bernoulli. Los primeros se aplican para el caso en el cual las características de entrada al modelo son variables numéricas continuas, mientras que los segundos se usan cuando tenemos variables numéricas discretas.

Además hablamos de la técnica de suavizado, que se usa en el caso de los modelos Naive Bayes multinomiales y de Bernoulli y que evita la aparición de probabilidades iguales a cero que impedirían realizar una correcta clasificación de los datos.

Con estos elementos ya estamos listos para explorar un sencillo ejemplo numérico que nos permitirá entender todos los elementos involucrados en el entrenamiento y generación de predicciones con este tipo de modelos. Así que veamos en detalle este ejemplo:

¡Excelente! En este punto ya tenemos todos los elementos que nos permiten comprender en detalle el funcionamiento de estos modelos de Naive Bayes.

Así que con esto ya estamos listos para poner en práctica todo lo aprendido para resolver un problema de clasificación de forma práctica.

Entonces, en la próxima lección desarrollaremos un proyecto práctico en donde veremos cómo entrenar y generar predicciones con un Modelo de Naive Bayes para la detección de mensajes spam.

Ver todas las lecciones de este curso