2.17 - Los sets de entrenamiento, prueba y validación
Lección 17 de la sección “Redes Neuronales” del curso Fundamentos de Deep Learning con Python.
Tabla de contenido
Introducción
En la práctica anterior vimos cómo crear y entrenar una Red Neuronal para la detección de partículas usando Python y la librería Keras.
Sin embargo quedaron varias preguntas por responder, pues la idea es que el modelo entrenado funcione adecuadamente no sólo con los datos usados durante el entrenamiento sino, más importante aún, con datos totalmente nuevos, que no haya visto previamente.
Así que en esta lección hablaremos de un aspecto práctico en la implementación de modelos de Deep Learning, y es la forma como debemos subdividir nuestro set de datos al momento del entrenamiento y de la validación.
Suscríbete para tener acceso al video con la explicación detallada de esta lección. Además podrás disfrutar de todos los cursos de la Academia Online
Los hiperparámetros del modelo
En la práctica no podemos obtener el modelo con el mejor desempeño posible de manera directa, y en su lugar debemos entrenar múltiples modelos y elegir el mejor de ellos.
Y los modelos se diferencian entre sí por sus hiperparámetros, es decir aquellos parámetros que nosotros, como diseñadores de cada modelo, elegimos antes del entrenamiento. Dichos hiperparámetros son por ejemplo el tamaño y complejidad de la Red Neuronal (número de capas ocultas y número de neuronas por cada), el número de epochs, el tamaño del lote, las funciones de activación, etc.
Y para determinar estos hiperparámetros debemos tener una idea de cómo cuantificar cuál de todos los modelos resulta siendo el mejor.
Elección del mejor modelo: los sets de entrenamiento, prueba y validación
Desafortunadamente no existe un método analítico que nos permita determinar cuál es el mejor modelo, así que esta decisión la debemos hacer usando un enfoque empírico de prueba y error.
Y para ello usualmente dividimos nuestro set de datos en tres partes:
- El set de entrenamiento, que se usará para ajustar los parámetros de cada modelo a entrenar
- El set de prueba, que usaremos para verificar qué tan bien lo hará cada modelo con datos nunca vistos y para ajustar los correspondientes hiperparámetros
- El set de validación, que usaremos para cuantificar la capacidad que tiene cada modelo entrenado para generalizar. Aquel que tenga el mejor desempeño con el set de validación será precisamente el modelo a escoger.
Recuerda suscribirte para acceder al video con la explicación detallada de esta lección. Además podrás disfrutar de todos los cursos de la Academia Online
Conclusión
Bien, hya sabemos cómo se subdivide nuestro set de datos para lograr entrenar adecuadamente nuestros diferentes modelos.
Pero aún no hemos discutido en detalle cómo usar estos sub-sets para cuantificar el desempeño de cada modelo y elegir el mejor.
En la próxima lección hablaremos entonces de los conceptos de Underfitting y overfitting, que nos permitirán entender cómo determinar si el desempeño del modelo escogido resulta siendo o no el más adecuado.