2.14 - Las Funciones de Activación
Lección 14 de la sección “Redes Neuronales” del curso Fundamentos de Deep Learning con Python.
Tabla de contenido
Introducción
Para poder aprovechar el poder de las Redes Neuronales se requiere que la función de activación usada en las diferentes neuronas sea no lineal, y aquí surgen diferentes opciones.
En esta lección veremos varios tipos de función de activación junto con sus ventajas y desventajas en el contexto del entrenamiento de las Redes Neuronales.
Suscríbete para tener acceso al video con la explicación detallada de esta lección. Además podrás disfrutar de todos los cursos de la Academia Online
La función sigmoidal
Esta es la función básica que usamos cuando hablamos de la Neurona Artificial.
La desventaja de esta función de activación es que su derivada tiene valores relativamente bajos, lo cual hará que los cambios en el gradiente sean pequeños, haciendo que el entrenamiento de redes con esta función de activación sea relativamente lento.
Es por esto que esta función de activación se usa generalmente sólo en la capa de salida de una Red Neuronal.
La función tangente hiperbólica (tanh)
Esta función es similar a la sigmoidal con la diferencia de que el rango de valores de salida está entre -1 y 1.
Por tanto tiene las mismas limitaciones de la función sigmoidal, y esto hace que sea usada sólo en algunas capas de las Redes y en algunas arquitecturas específicas (como veremos en próximas lecciones).
La función ReLU (Rectified Linear Unit)
Esta función retiene, sin modificaciones, las partes positivas del dato de entrada y elimina por completo las porciones negativas. Es por tanto una función no lineal.
Lo anterior hace que su derivada sea relativamente más grande que la de las funciones sigmoidal y tanh, facilitando así el entrenamiento de las Redes. De hecho, por este motivo es una de las funciones de activación más usadas en las capas ocultas al momento de implementar diferentes arquitecturas de Deep Learning.
Recuerda suscribirte para acceder al video con la explicación detallada de esta lección. Además podrás disfrutar de todos los cursos de la Academia Online
Conclusión
Muy bien, acabamos de ver las principales características, las ventajas y desventajas de las diferentes funciones de activación.
A continuación, en la próxima lección, hablaremos en detalle del proceso de Entrenamiento de una Red Neuronal: forward y backward propagation.