5.8 - Decodificación: principio de funcionamiento
Lección 8 de la sección “Redes Transformer” del curso Fundamentos de Deep Learning con Python.
Tabla de contenido
Introducción
En la lección anterior vimos en detalle todos los elementos que conforman la etapa de salida de cada codificador en la Red Transformer, conformada por bloques residuales, de normalización y fully-connected.
A la salida del último codificador ya tenemos una representación compacta de la secuencia procesada, la cual contiene toda la información atencional a diferentes niveles.
Esta salida es llevada a la etapa de decodificación, que en la Red Transformer original se encarga de traducir el texto al idioma destino. Así que en esta lección veremos los elementos que conforman esta etapa de decodificación así como un panorama general de su principio de funcionamiento.
Suscríbete para tener acceso al video con la explicación detallada de esta lección. Además podrás disfrutar de todos los cursos de la Academia Online
Estructura general de la etapa de decodificación
Esta etapa tiene una estructura muy similar a la que vimos anteriormente para el caso de la etapa de codificación. Así que en términos generales contiene un embedding, un bloque de codificación posicional y un total de 6 decodificadores.
Sin embargo en este caso cambian dos elementos con respecto a la etapa de decodificación:
- Cada decodificador contiene adicionalmente un bloque atencional con enmascaramiento
- A la salida del bloque (es decir después del sexto decodificador), se incluye una capa con función de activación softmax encargada de generar la predicción de la secuencia de salida.
Principio de funcionamiento
En la etapa de decodificación la idea es aprovechar que la secuencia puede ser procesada en paralelo para que el decodificador aprenda a generar el texto traducido al momento del entrenamiento.
Pero a su vez nos interesa que esta traducción se genere de manera secuencial (es decir uno a uno los elementos de la secuencia de salida).
Para lograr combinar estos dos requerimientos es que se incluye precisamente el bloque atencional con enmascaramiento en cada uno de los decodificadores.
Recuerda suscribirte para acceder al video con la explicación detallada de esta lección. Además podrás disfrutar de todos los cursos de la Academia Online
Conclusión
Ya tenemos un panorama general de los elementos que conforman la etapa de decodificación, así como su principio de funcionamiento.
Así que en las próximas lecciones nos enfocaremos sólo en aquellos elementos adicionale a la etapa de codificación que se encuentran incluidos en esta fase de decodificación.
En particular, en la próxima lección veremos en detalle bloque atencional con enmascaramiento de esta etapa de decodificación.