4.4 - Una Red Neuronal Recurrente en acción: ejemplo paso a paso
Lección 4 de la sección “Redes Recurrentes y LSTM” del curso Fundamentos de Deep Learning con Python.
Tabla de contenido
Introducción
En la lección anterior vimos en detalle la arquitectura de una Red Neuronal Recurrente, y vimos además cómo el estado oculto (equivalente a la “memoria” de la Red) es el elemento que permite el procesamiento de secuencias.
Para lograr una total comprensión de esta arquitectura, en esta lección veremos un ejemplo paso a paso del funcionamiento de una Red Recurrente partiendo de una situación en el campo del modelado del lenguaje.
Suscríbete para tener acceso al video con la explicación detallada de esta lección. Además podrás disfrutar de todos los cursos de la Academia Online
El problema a resolver: modelado del lenguaje
Nuestro objetivo será crear un modelo de lenguaje, capaz de predecir la siguiente palabra en una secuencia de texto.
Codificación de las palabras de entrada
Teniendo en cuenta que una Red Recurrente procesa únicamente datos numéricos, tendremos que representar cada palabra en la secuencia de entrada usando cantidades numéricas. En este caso asumiremos la codificación one-hot.
La Red Recurrente
La Red tomará como entrada una palabra (codificada en formato one-hot) y generará dos salidas: la predicción y el estado oculto.
Esta predicción y estado oculto se obtienen de forma similar a como se hacía en el caso de las Redes Neuronales, pero en este caso:
- La palabra de entrada y el estado oculto anterior se transforman usando una serie de coeficientes, para posteriormente llevarlos a una función de activación no-lineal, generando así el estado oculto en el instante de tiempo actual.
- Este estado oculto actual es transformado siguiendo la misma lógica descrita anteriormente, y llevado a otra función de activación no-lineal, generando así la predicción en el instante de tiempo actual.
Recuerda suscribirte para acceder al video con la explicación detallada de esta lección. Además podrás disfrutar de todos los cursos de la Academia Online
Conclusión
Con este ejemplo ya tenemos un panorama mucho más detallado de cómo funciona internamente una Red Neuronal Recurrente.
Así que en la próxima lección veremos cómo realizar el entrenamiento a través de lo que se conoce como el algoritmo de backpropagation a través del tiempo.