Redes de propagación hacia atrás

Origen

Al parecer el algoritmo fue ideado a principios de los 70 por Werbos, y redescubierto a principios de los 80 por Parker y Rumelhart independientemente, sin embargo, no se hizo popular hasta 1986, cuando Rumerlhart, Hinton y Williams presentaron una descripción clara y concisa del mismo. Y es que en un primer momento no se valoró como se merecía. El hecho de que permaneciera en el olvido tanto tiempo también debe ser una consecuencia de la condición interdisciplinar del campo, repartido entre las matemáticas y ciencias de la computación, las neurociencias y la psicología.

Desde la fecha clave de 1986 han surgido nuevas versiones que han tratado de aumentar la velocidad de convergencia del algoritmo y han tratado de superar algunos de sus inconvenientes, como la tendencia a alcanzar mínimos locales y no globales, punto que será discutido más tarde.

Las redes de propagación hacia atrás son aquellas consideradas como un algoritmo de aprendizaje, es decir, consiste en propagar el error hacia atrás, de la capa de salida hasta la capa de entrada pasando por las capas intermedias y ajustando cada una de ellas con el fin de solucionar o reducir el error presentado inicialmente.

Descripción matemática del algoritmo de retropropagación

Se explica una versión del algoritmo (Hinton, 1992) para redes con las siguientes características:

·         No recurrentes

·         Función de activación sigmoidal

·         Capas totalmente interconectadas

·         Operación totalmente síncrona

Sigmoidal:

Se trata de una función continua no lineal con bastante plausibilidad fisiológica. La función sigmoidal posee un rango comprendido entre 0 y 1. Esto, aplicado a las unidades de proceso de una red neuronal artificial significa que, sea cual sea la entrada, la salida estará comprendida entre 0 y1.