5.2 - Aplicaciones de las Redes Transformer
Lección 2 de la sección “Redes Transformer” del curso Fundamentos de Deep Learning con Python.
Tabla de contenido
Introducción
En la lección anterior vimos una introducción a las Redes Transformer y hablamos de sus semejanzas y de sus principales ventajas frente a las Redes Recurrentes y de las Redes LSTM.
Aunque las Redes Transformer fueron desarrolladas inicialmente para resolver problemas en el campo del procesamiento del lenguaje natural, han tenido también un desempeño impresionante en áreas como el procesamiento de imágenes y video e incluso la biología. Así que en esta lección veremos un poco más en detalle algunas de estas aplicaciones.
Suscríbete para tener acceso al video con la explicación detallada de esta lección. Además podrás disfrutar de todos los cursos de la Academia Online
Machine Translation (traducción de texto)
Google Translator (el traductor de texto usado por Google) es precisamente un ejemplo de uso de las Redes Transformer en la actualidad.
De hecho, este problema fue el que abordaron inicialmente los creadores de estas redes y a partir del cual se definió esta arquitectura (que veremos en detalle en las próximas lecciones).
Sumarización de texto
Las Redes Transformer también pueden ser usadas para generar de forma automática resúmenes a partir de porciones de texto relativamente grandes, una tarea que se conoce como sumarización.
Generación de texto y otras secuencias
Modelos como GPT-3 y GitHub copilot son ejemplos de Redes Transformer que han sido entrenadas para la generación de texto natural o de código.
Reconocimiento de entidades nombradas
Las Redes Transformer también vienen siendo usadas para esta tarea, propia del procesamiento del lenguaje natural, que consiste en encontrar y clasificar los diferentes elementos de un texto en categorías pre-definidas, como nombres de personas, organizaciones, ubicaciones, cantidades numéricas, etc.
Procesamiento de secuencias biológicas
En los últimos años han habido desarrollos muy interesantes que han revolucionado los campos de la genómica y la biología. Un ejemplo de esto es AlphaFold, un modelo que permite predecir la estructura 3D de las proteínas a partir de sus respectivas secuencias de aminoácidos.
Visión artificial
Las Redes Transformer también pueden ser usadas para reconocer y localizar diferentes acciones o eventos que suceden en un video, como por ejemplo el modelo TimeSformer (2021) desarrollado por investigadores de Meta.
Algo similar ocurre con Perceiver (DeepMind, 2021), un modelo basado en Redes Transformer y que permite procesar datos no-textuales (como imágenes, sonidos y video).
Recuerda suscribirte para acceder al video con la explicación detallada de esta lección. Además podrás disfrutar de todos los cursos de la Academia Online
Conclusión
A través de estos ejemplos de aplicación hemos visto el potencial que tienen las Redes Transformer en diferentes ámbitos que van más allá del procesamiento del lenguaje natural.
Así que en la próxima lección comenzaremos a hablar en detalle de estas redes, y en particular veremos los principales elementos que conforman la arquitectura de una Red Transformer.