Captulo 3

Perceptron multicapa

3.1. Introduccion
En este captulo se estudiara una de las clases de redes de neuronas, conocida como
Perceptron multicapa o red multicapa con conexiones hacia adelante. El Perceptron
multicapa es una generalizacion del Perceptron simple y surgio como consecuencia de
las limitaciones de dicha arquitectura en lo referente al problema de la separabilidad no
lineal. Minsky y Papert [4] mostraron en 1969 que la combinacion de varios Perceptrones
simples -inclusion de neuronas ocultas- poda resultar una solucion adecuada para tratar
ciertos problemas no lineales. Sin embargo, los autores no presentaron una solucion al
problema de como adaptar los pesos de la capa de entrada a la capa oculta, pues la regla
de aprendizaje del Perceptron simple no puede aplicarse en este escenario. No obstante, la
idea de combinar varios Perceptrones sirvio de base para estudios posteriores realizados
por Rummelhart, Hinton y Wilians en 1986 [5]. Estos autores presentaron una manera
de retropropagacion de los errores medidos en la salida de la red hacia las neuronas
ocultas, dando lugar a la llamada regla delta generalizada.
Diferentes autores han demostrado independientemente que el Perceptron multicapa
es un aproximador universal, en el sentido de que cualquier funcion contnua en un
espacio Rn puede aproximarse con un Perceptron multicapa, con al menos una capa
oculta de neuronas. Tal como se explico en el captulo anterior, este resultado situa
al Perceptron multicapa como un modelo matematico util a la hora de aproximar o
interpolar relaciones no lineales entre datos de entrada y salida.
Dentro del marco de las redes de neuronas, el Perceptron multicapa es en la actualidad
una de las arquitecturas mas utilizadas en la resolucion de problemas. Esto es debido,
fundamentalmente, a su capacidad como aproximador universal, as como a su facil uso
y aplicabilidad.
Por otra parte, esto no implica que sea una de las redes mas potentes y con mejores
resultados en sus diferentes areas de aplicacion. De hecho, el Perceptron multicapa posee
una serie de limitaciones, como el largo proceso de aprendizaje para problemas complejos
dependientes de un gran numero de variables; la dificultad para realizar un analisis
teorico de la red debido a la presencia de componentes no lineales y a la alta conectividad.

15
Seccion 3.2 3. Perceptron multicapa

Por otra parte, es necesario senalar que el proceso de aprendizaje de la red busca en un
espacio apmplio de funciones, una posible funcion que relacione las variables de entrada
y salida al problema, lo cual puede complicar su aprendizaje y reducir su efectividad en
determinadas aplicaciones [6].

3.2. Arquitectura
La arquitectura de Perceptron multicapa se caracteriza porque tiene sus neuronas
agrupadas en capas de diferentes niveles. Cada una de las capas esta formada por un
conjunto de neuronas y se distinguen tres tipos de capas diferentes: la capa de entrada,
las capas ocultas y la capa de salida.
Las neuronas de la capa de entrada no actuan como neuronas propiamente dichas,
sino que se encargan unicamente de recibir las senales o patrones del exterior y propagar
dichas senales a todas las neuronas de la siguiente capa. La ultima capa actua como
salida de la red, proporcionando al exterior la respuesta de la red para cada uno de los
patrones de entrada. Las neuronas de las capas ocultas realizan un procesamiento no
lineal de los patrones recibidos.
Como se observa en la figura 2.1, las conexiones del Perceptron multicapa siempre
estan dirigidas hacia adelante, es decir, las neuronas de una capa se conectan con las
neuronas de la siguiente capa, de ah que reciban tambien el nombre de redes alimentadas
hacia adelante o redes feedforward. Las conexiones entre las neuronas de la red llevan
tambien asociado un umbral, que el caso del Perceptron multicapa suele tratarse como
una conexion mas a la neurona, cuya entrada es constante e igual a 1.
Generalmente, todas las neuronas de una capa estan conectadas a todas las neuro-
nas de la siguiente capa. Se dice entonces que existe conectividad total o que la red
esta totalmente conectada.
Aunque en la mayor parte de los casos la arquitectura del Perceptron multicapa
esta asociada al esquema de la figura 2.1, es posible tambien englobar dentro de este
tipo de redes a arquitecturas con las siguientes caractercticas:

Redes con conexiones de todas o ciertas neuronas de una determinada capa a

neuronas de capas posteriores, aunque no inmediatamente posteriores.

Redes en las que ciertas neuronas de ciertas capas no estan conectadas a neuronas
de la siguiente capa, es decir, el peso de la conexion es constante e igual a cero

Cuando se aborda un problema con el Perceptron multicapa, en la mayora de los casos

se parte de una arquitectura totalmente conectada, es decir, todas las neuronas de una
capa estan conectadas a todas las neuronas de la siguiente capa. No es posible demostrar
que si se utilizan arquitecturas en las que se eliminan o se anaden conexiones de una
capa a capas no inmediatamente posteriores, se puedan obtener mejores resultados. Sin
embargo, en ocasiones, y debido fundamentalmente a la naturaleza del problema, se
pueden encontrar redes multicapa con estas caractersticas en sus conexiones [7].

16
3. Perceptron multicapa Seccion 3.2

3.2.1. Propagacion de los patrones de entrada

El Perceptron multicapa define una relacion entre las variables de entrada y las varia-
bles de salida de la red. Esta relacion se obtiene propagando hacia adelante los valores
de las variables de entrada. Para ello, cada neurona de la red procesa la informacion re-
cibida por sus entradas y produce una respuesta o activacion que se propaga, a traves de
las conexiones correspondientes, hacia las neuronas de la siguiente capa. A continuacion,
se muestran las expresiones para calcular las activaciones de las neuronas de la red.
Sea un Perceptron multicapa con C capas -C 2 capas ocultas- y nc neuronas en la
capa c, para c = 1,2, ..., C. Sea W c = (wijc ) la matriz de pesos donde w c representa el
ij
peso de la conexion de la neurona i de la capa c para c = 2, ..., C. Denotaremos aci a
la activacion de la neurona i de la capa c. Estas activaciones se calculan del siguiente
modo:

Activacion de las neuronas de la capa de entrada (a1i ). Las neuronas de la capa

de entrada se encargan de transmitir hacia la red las senales recibidas desde el
exterior. Por tanto:
a1i = xi para i = 1, 2, ..., n1 (3.1)

donde X = (x1 , x2 , ...., xn1 ) representa el vector o patron de entrada a la red.

Activacion de las neuronas de la capa oculta c (aci ). Las neurones ocultas de la red
procesan la informacion recibida aplicando la funcion de activacion f a la suma
de los productos de las activaciones que recibe por sus correspondientes pesos, es
decir:

nc1
X
c1 c1
aci = f wji aj + uci para i = 1, 2, ..., nc y c = 2, 3, ..., C 1 (3.2)
j=1

donde ac1
j son las activaciones de las neuronas de la capa c 1.

Activacion de las neuronas de la capa de salida (aC

i ). Al igual que en el caso anterior,
la activacion de estas neuronas viene dada por la funcion de activacion f aplicada
a la suma de los productos de las entradas que recibe por sus correspondientes
pesos:
nC1
X
C1 C1
yi = aC
i =f
wji aj + uC
i
para i = 1, 2, ..., nc (3.3)
j=1

donde Y = (y1, y2, ..., ynC ) es el vector de salida de la red.

La funcion f es la llamada funcion de activacion. Para el Perceptron multicapa, las

funciones de activacion mas utilizadas son la funcion sigmoidal y la funcion tangente

17
Seccion 3.2 3. Perceptron multicapa

Figura 3.1: Funciones de activacion sigmoidal y tangente hiperbolica

hiperbolica. Dichas funciones poseen como imagen un intervalo contnuo de valores den-
tro de los intervalos [0, 1] y [1, 1], respectivamente, y vienen dadas por las siguientes
ecuaciones:

Funcion sigmoidal:
1
fsigm (x) = (3.4)
1 + ex

Funcion tangente hiperbolica:

1 ex
fthip (x) = (3.5)
1 + ex

Ambas son funciones crecientes con dos niveles de saturacion: el maximo, que pro-
porciona salida 1, y el mnimo, salida 0 para la funcion sigmoidal y salida -1, para la
tangente hiperbolica, como se observa en la figura 3.1.
En algunas ocasiones, la funcion de activacion en el Perceptron multicapa es comun
a todas las neuronas de la red y es elegida por el disenador, eleccion que se realiza
unicamente basandose en los valores de activacion que se desee que alcancen las neuronas.
Ambas funciones estan relacionadas mediante la expresion fthip (x) = 2fsigm (x) 1, por
lo que la utilizacion de una u otra se elige unicamente en funcion del recorrido que
interese.
En otras ocasiones, y dependiendo de la naturaleza del problema, las neuronas de
salida se distinguen del resto de neuronas de la red, utilizando otro tipo de funcion de
activacion. En este caso, las mas usadas son la funcion identidad y la funcion escalon.
De las ecuaciones 3.1, 3.2 y 3.3, se observa que el perceptron multicapa define, a traves
de sus conexiones y neuronas, una funcion continua no lineal del espacio Rn1 -espacio
de los patrones de entrada- al espacio RnC -espacio de los patrones de salida-. Se puede
escribir, por tanto, que:

18
3. Perceptron multicapa Seccion 3.2

Y = F (X, W ) (3.6)

donde Y es el vector formado por las salidas de la red, X es el vector de entrada a la

red, W es el conjunto de todos los parametros de la red -pesos y umbrales- y F es una
funcion continua no lineal dada por las ecuaciones 3.1, 3.2 y 3.3.

3.2.2. Consideraciones de diseno

Cuando se aborda un problema utilizando el Perceptron multicapa, uno de los pri-
meros pasos a realizar es el diseno de la arquitectura de la red. Este diseno implica la
determinacion de la funcion de activacion a emplear, el numero de neuronas y el numero
de capas de la red.
Como se ha comentado anteriormente, la eleccion de la funcion de activacion se suele
hacer basandose en el recorrido deseado, y el hecho de elegir una u otra, generalmente,
no influye en la capacidad de la red para resolver el problema [7].
En lo que respecta al numero de neuronas y capas, algunos de estros parametros
vienen dados por el problema y otros deben ser elegidos por el disenador. As, por
ejemplo, tanto el numero de neuronas en la capa de entrada, como el numero de neuronas
en la capa de salida, vienen dados por las variables que definen el problema. En algunas
aplicaciones practicas, no hay lugar a duda sobre el numero de entradas y salidas. Sin
embargo, existen problemas los que el numero de variables de entrada relevantes para
el problema no se conoce con exactitud. En estos casos, se disponen de un gran numero
de variables, algunas de las cuales podran no aportar informacion relevante a la red,
y su utilizacion podra complicar el aprendizaje, pues implicara arquitecturas de gran
tamano y con alta conectividad. En estas situaciones, es conveniente realizar un analisis
previo de las variables de entrada mas relevantes al problema y descartar aquellas que
no aportan informacion a la red. Este analisis puede llegar a ser una tarea complicada
y requerir tecnicas avanzadas, como tecnicas basadas en analisis de correlacion, analisis
de componentes principales, analisis de importancia relativa, analisis de sensibilidad o
tecnicas basadas en algoritmos geneticos, entre otras.
El numero de capas ocultas y el numero de neuronas en estas capas deben ser ele-
gidos por el disenador. No existe un metodo o regla que determine el numero optimo
de neuronas ocultas para resolver un problema dado. En la mayor parte de las aplica-
ciones practicas, estos parametros se determinan por prueba y error. Partiendo de una
arquitectura ya entrenada, se realizan cambios aumentando o disminuyendo el numero
de neuronas ocultas y el numero de capas hasta conseguir una arquitectura adecuada
para el problema a resolver, que pudiera no ser la optima, pero que proporciona una
solucion.
Si bien el numero de neuronas ocultas puede influir en el comportamiento de la red,
como se vera mas adelante -capacidad de generalizacion de la red-, es necesario indicar
que en el caso del Perceptron multicapa, generalmente, el numero de neuronas ocultas
no es parametro significativo, pues dado un problema, pueden existir una gran canti-
dad de arquitecturas capaces de resolver de manera adecuada dicho problema. Ademas,

19
Seccion 3.3 3. Perceptron multicapa

anadir o eliminar una neurona oculta no influye, de manera significativa, en la capacidad

predictiva de la red.
En la actualidad existen lneas de investigacion abiertas centradas en la determinacion
automatica del numero de neuronas ocultas, as como de capas ocultas, para cada proble-
ma en particular. En el caso del Perceptron multicapa, la mayor parte de estos trabajos
se basan en la utilizacion de tecnicas evolutivas, las cuales realizan una busqueda en el
espacion de de las arquitecturas de redes guiada por la optimizacion del rendimiento de
la red [8], [9], [10].

3.3. Algoritmo de Retropropagacion

La regla o algoritmo de aprendizaje es el mecanismo mediante el cual se van adaptando
y modificando todos los parametros de la red. En el caso del Perceptron multicapa
se trata de un algoritmo de aprendizaje supervisado, es decir, la modificacion de los
parametros se realiza para que la salida de la red sea lo mas proxima posible a la salida
proporcionada por el supervisor o salida deseada.
Por tanto, para cada patron de entrada a la red es necesario disponer de un patron
de salida deseada.
Puesto que el objetivo es que la salida de la red sea lo mas proxima posible a la
salida deseada, el aprendizaje de la red se formula como un problema de minimizacion
del siguiente modo:
M inW E (3.7)

siendo W el conjunto de parametros de la red -pesos y umbrales- y E una funcion

error que evalua la diferencia entre las salidas de la red y las salidas deseadas. En la
mayor parte de los casos, la funcion error se define como:
N
1 X
E= e(n) (3.8)
N
n=1

donde N es el numero de patrones o muestras y e(n) es el error cometido por la red

para el patron n, dado por:
nC
1 X
e(n) = (si (n) yi (n))2 (3.9)
nC
i=1

siendo Y (n) = (y1 (n), ..., ynC (n)) y S(n) = (s1 (n), ..., snC (n)) los vectores de salidas de
la red y salidas deseadas para el patron n, respectivamente.
De este modo, si W es un mnimo de la funcion error E, en dicho punto el error es
proximo a cero, lo cual implica que la salida de la red es proxima a la salida deseada,
alcanzando as la meta de la regla de aprendizaje.

20
3. Perceptron multicapa Seccion 3.3

Por tanto, el aprendizaje del Perceptron multicapa es equivalente a encontrar un

mnimo de la funion error. La presencia de funciones de activacion no lineales hace que
la respuesta de la red sea no lineal respecto a los parametros ajustables, por lo que
el problema de minimizacion es un problema no lineal, y, como consecuencia, tienen
que utilizarse tecnicas de optimizacion no lineales para su resolucion. Dichas tecnicas
estan, generalmente, basadas en una adaptacion de los parametros siguiendo una cierta
direccion de busqueda. En el contexto de redes de neuronas, y en particular para el
perceptron multicapa, la direccion de busqueda mas comunmente usada es la direccion
negativa del gradiente de la funcion E -metodo de descenso del gradiente-, pues conforme
al calculo de varias variables, esta es la direccion en la que la funcion decrece.
Aunque, estrictamente hablando, el aprendizaje de la red debe realizarse para mini-
mizar el error total, el procedimiento mas utilizado esta basado en metodos del gradiente
estocastico, los cuales consisten en una sucesiva minimizacion de los errores para cada
patron, e(n), en lugar de minimizar el error total E. Por tanto, aplicando el metodo de
descenso del gradiente estocastico, cada parametro w de la red se modifica para cada
patron de entrada n de acuerdo con la siguiente ley de aprendizaje.

e(n)
w(n) = w(n 1) (3.10)
w

donde e(n) es el error para el patron n dado por la ecuacion (3.9), y es la razon
o tasa de aprendizaje, parametro que influye en la magnitud del desplazamiento en la
superficie del error, como se analizara mas adelante.
Debido a que las neuronas de la red estan agrupadas en capas de distintos niveles, es
posible aplicar el metodo del gradiente de forma eficiente, resultando el conocido algorit-
mo de Retropropagacion [5] o regla delta generalizada. El termino de retropropagacion
se utiliza debido a la forma de implementar el metodo del gradiente en el Perceptron
multicapa, pues el error cometido en la salida de la red es propagado hacia atras, trans-
formandolo en un error para cada una de las neuronas ocultas de la red.

3.3.1. Obtencion de la regla delta generalizada

A continuacion se va a desarrollar la regla delta generalizada para el aprendizaje
del Perceptron multicapa, que, como ya se ha comentado, no es mas que una forma
eficiente de aplicar el metodo del gradiente a los parametros -pesos y umbrales- de dicha
arquitectura. Para el desarrollo de esta regla es necesario distinguir dos casos: uno para
los pesos de la capa oculta C 1 a la capa de salida y para los umbrales de las neuronas
de salida, y otro para el resto de los pesos y umbrales de la red, pues las reglas de
modificacion de estos parametros son diferentes.

Adaptacion de pesos de la capa oculta C 1 a la capa de salida y umbrales

de la capa de salida
C1
Sea wji el peso de la conexion de la neurona j de la capa C 1 a la neurona i de la

21
Seccion 3.3 3. Perceptron multicapa

capa de salida. Utilizando el metodo de descenso del gradiente (Ecuacion 3.10), dicho
parametro se modifica siguiendo la direccion negativa del gradiente del error:

C1 C1 e(n)
wji (n) = wji (n 1) C1
(3.11)
wji

Por tanto, para la actualizacion de dicho parametro es necesario evaluar la derivada

del error e(n) en dicho punto. De acuerdo con la expresion del error (Ecuacion 3.9) y
teniendo en cuenta, por un lado, que las salidas deseadas si (n) para la red son constantes
C1
que no dependen del peso y, por otro lado, que el peso wji solo afecta a la neurona de
salida i, yi (n) (Ver ecuacion 3.3), se obtiene que:

e(n) yi (n)
C1
= (si (n) yi (n)) C1 (3.12)
wji wji

A este punto, hay que calcular la derivada de la neurona de salida yi (n) respecto al
C1
peso wji . La salida de la red es la funcion de activacion f aplicada a la suma de todas
las entradas por sus pesos, como se muestra en la Ecuacion (3.3). Aplicando la regla
de la cadena para derivar la composicion de dos funciones y teniendo en cuenta que, de
C1
todos los terminos del sumatorio (Ecuacion 3.3), el unico que interviene en el peso wji
C1 C1
es wji aj , y por tanto, el unico cuya derivada es distinta de cero, se obtiene:

nC1
yi (n) X
C1
= f0 wjiC1 C1
aj + uCi
aC1 (n)
j (3.13)
wji j=1

Se define el termino asociado a la neurona i de la capa de salida -capa C- y al patron

n, iC (n), del siguiente modo:

nC1
X
iC (n) = (si (n) yi (n))f 0 C1 C1
wji aj + uC
i
(3.14)
j=1

Reemplazando entonces en la Ecuacion (3.12) el valor de la derivada de la neurona de

salida yi (n) dado por (3.13) y de acuerdo con el valor de iC (n) definido anteriormente
(Ecuacion 3.14), se obtiene que:

e(n)
C1
= iC (n)aC1
j (n) (3.15)
wji

C1
Finalmente, reemplazando la derivada del error e(n) respecto al peso wji obtenida
en (3.15) en la Ecuacion (3.11), se obtiene la ley para modificar dicho peso, la cual toma
la siguiente expresion:

22
3. Perceptron multicapa Seccion 3.3

C1 C1
wji (n) = wji (n 1) + iC (n)aC1
j (3.16)

para j = 1, 2, ..., nC1 i = 1, 2, ..., nC

En la Ecuacion (3.16) obtenida anteriormente se observa que para modificar el peso

de la conexion de la neurona j de la capa C 1 a la neurona i de la capa de salida,
basta considerar la activacion de la neurona de que parte la conexion -neurona j de la
capa C 1- y el termino de la neurona a la que llega la conexion -neurona de salida
i-, termino que contiene el error cometido por la red para dicha neurona de salida (ver
Ecuacion 3.14).
La ley de aprendizaje obtenida anteriormente para modificar los pesos de la ultima
capa puede generalizarse para los umbrales de las neuronas de salida. Como se ha co-
mentado en la seccion anterior, en el Perceptron multicapa el umbral de una neurona
se trata como una conexion mas a la neurona cuya entrada es constante e igual a 1.
Siguiendo, entonces, la ley anterior (Ecuacion 3.16), se deduce que los umbrales de las
neuronas de la capa de salida se modifican con la siguiente expresion:

uC C C
i (n) = ui (n 1) + i (n) para i = 1, 2, ..., nC (3.17)

Adaptacion de pesos de la capa c a la capa c + 1 y umbrales de las neuronas

de la capa c + 1 para c = 1, 2, ..., C 1
Con el objetivo de que el desarrollo de la regla de aprendizaje para el resto de los
pesos y umbrales de la red sea lo mas claro posible, se elige un peso de la capa C 2 a
C1
la capa C 1. Sea wkj el peso de la conexion de la neurona k de la capa C 2 a la
neurona j de la capa C 1. Siguiendo el metodo de descenso del gradiente, la ley para
actualizar dicho peso viene dada por:

C2 C2 e(n)
wkj (n) = wkj (n 1) + C2
(3.18)
wkj

C2
En este caso, y a diferencia del anterior -pesos hacia la capa de salida-, el peso wkj
influye en todas las salidas de la red, por lo que la derivada del error e(n) (Ecuacion
3.9) respecto de dicho peso viene dada por la suma de las derivadas para cada una de
las salidas de la red, es decir:
nC
e(n) X yi (n)
C2
= (si (n) yi (n)) C2 (3.19)
wkj i=1
wkj

C2
Para calcular la derivada de la salida yi (n) respecto al peso wkj es necesario tener
en cuenta que este peso influye en la activacion de la neurona j de la capa oculta C 1,

23
Seccion 3.3 3. Perceptron multicapa

aC1
j , y que el resto de las activaciones de las neuronas en esta capa no dependen de
dicho peso. Por tanto, y de acuerdo con la Ecuacion (3.3), se tiene que:

nC1
yi (n) 0
X
C1 C1 C C1
aC1
j
C2
=f wji aj + ui wji C2
(3.20)
wkj j=1
wkj

Sustituyendo este valor en la Ecuacion (3.19) y de acuerdo con la definicion de en

el punto anterior (Ecuacion 3.14), se obtiene que:
nC
e(n) X
C C1
aC1
j
C2
= i (n)w ji C2
(3.21)
wkj i=1
wkj

C2
Para obtener la ley de aprendizaje para el peso wkj , solo falta derivar la activacion
C1
de la neurona j de la capa oculta C 1, aj , respecto a dicho peso. De nuevo, aplicando
la regla de la cadena a la Ecuacion (3.2), dicha derivada es:
nC2
aC1
!
j
X
0 C2 C2 C1
C2
=f wkj ak + uj aC2
k (n) (3.22)
wkj k=1

Se define el valor para las neuronas de la capa C 1, C1 (n), como:

nC2 !n
C
X X
C1 0 C2 C2 C1 C1
j (n) = f wkj ak + uj iC (n)wji (3.23)
k=1 i=1

Sustituyendo (3.22) en la Ecuacion (3.21) y de acuerdo con el valor de jC1 (n) definido
anteriormente, se obtiene que:

e(n)
C2
= jC1 (n)aC2
k (n) (3.24)
wkj

C2
Y como consecuencia, la ley de aprendizaje para modificar el peso wkj viene dada
por:

C2 C2
wkj (n) = wkj (n 1) + jC1 (n)aC2
k (n) (3.25)

para k = 1, 2, ..., nC2 y j = 1, 2, ..., nC1

Al igual que la ley obtenida para modificar los pesos de la ultima capa (Ecuacion
3.16), en este caso, tambien se observa que para modificar el peso de la conexion de la
neurona k de la capa C 2 a la neurona j de la capa C 1, basta considerar la activacion

24
3. Perceptron multicapa Seccion 3.3

de la neurona de la que parte la conexion -neurona k de la capa C 2- y el termino

de la neurona a la que llega la conexion -neurona j de la capa C 1- (ver Ecuacion
3.25). La diferencia radica en la expresion del termino . Para los pesos de la capa C 2
a C 1 dicho termino viene dado por la derivada de la funcion de activacion y por la
suma de los terminos asociados a las neuronas de la siguiente capa -en este caso, las
neuronas de salida- multiplicados por los pesos correspondientes, como se indica en el
Ecuacion (3.23).
Llegados a este punto, es posible generalizar la ley dada por la ecuacion (3.25) para
los pesos de la capa c a la capa c + 1 (c = 1, 2, ..., C 2). Para ello basta tener en cuenta
la activacion de la que parte la conexion y el termino de la neurona a la que llega la
conexion. Este termino se calcula utilizando la derivada de la funcion de activacion y la
suma de los terminos de las neuronas de la siguiente capa. De este modo:

c
wkj c
(n) = wkj (n 1) + jc+1 (n)ack (n) (3.26)

para k = 1, 2, ..., nc , j = 1, 2, ..., nc+1 y c = 1, 2, ..., C 2

donde ack (n) es la activacion de la neurona k de la capa c para el patron n y jc+1 (n)
viene dado por la siguiente expresion:

nc
! nc+1
X X
0
jc+1 (n) =f c c
wkj ak + ucj ic+2 (n)wji
c
(3.27)
k=1 i=1

Es posible, tambien, generalizar la ley de aprendizaje para el resto de umbrales de la

red; basta tratarlos como conexiones cuya entrada es constante e igual a 1. La ley para
modificarlos viene dada por:

uc+1 c+1 c+1

j (n) = uj (n 1) + j (n) (3.28)

para j = 1, 2, ..., nc+1 y c = 1, 2, ..., C 2

Derivada de la funcion de activacion El calculo de los valores de (Ecuaciones

3.15 y 3.27) para cada neurona del Perceptron multicapa requiere el calculo de la derivada
de la funcion de activacion. Como se ha comentado, el Perceptron multicapa puede
utilizar dos tipos de funciones de activacion -funcion sigmoidal (Ecuacion 3.4) y funcion
tangente hiperbolica (Ecuacion 3.5), por lo que los valores de dependen, en principio,
de la funcion de activacion empleada. A continuacion, se van a obtener las derivadas
para ambas funciones de activacion, quedando as completado el calculo de los valores
de .

25
Seccion 3.3 3. Perceptron multicapa

Derivada de la funcion sigmoidal

Derivando la expresion dada por la Ecuacion (3.4), se obtiene que:

1 1 ex
f10 (x) = x
(ex ) = (3.29)
(1 + e ) 2 1 + e 1 + ex
x

Por tanto,
f10 (x) = f1 (x)(1 f1 (x)) (3.30)

Como consecuencia, cuando se utiliza la funcion sigmoidal, los valores de asocia-

dos a las neuronas de salida (Ecuacion 3.14) adoptan la siguiente forma:

iC (n) = (si (n) yi (n))yi (n)(1 yi (n)) para i = 1, 2, ..., nC (3.31)

Y los valores de para el resto de las neuronas de la red (Ecuacion 3.27), vienen
dados por:

nc+1
X
jc+1 (n) = acj (n)(1 acj (n)) c+2 (n)wji
c
(3.32)
i=1

para j = 1, 2, ..., nc+1 y c = 1, 2, ..., C 2

Derivada de la funcion tangente hiperbolica

Teniendo en cuenta que f2 (x) = 2f1 (x) 1, la derivada de la funcion f2 (x) es:

f20 (x) = 2f1 (x)(1 f1 (x)) (3.33)

Cuando se utilice, por tanto, la funcion de activacion tangente hiperbolica, los

valores de para las neuronas de la red adoptan las expresiones dadas por las
Ecuaciones (3.31) y (3.32) multiplicadas por un facto de 2.

En la seccion anterior se ha comentado que, generalmente, todas las neuronas del

Perceptron multicapa suelen utilizar la misma funcion de activacion, salvo las neuronas
de salida, que pueden tener como funcion de activacion la funcion identidad, es decir,
f (x) = x. En este caso, la derivada de la funcion de activacion en la salida es 1 y, como
consecuencia, los valores de para las neuronas de salida adoptan la siguiente expresion:

iC (n) = (si (n) yi (n)) para i = 1, 2, ..., nC (3.34)

26
3. Perceptron multicapa Seccion 3.3

3.3.2. Razon de aprendizaje. Inclusion del momento en la ley de apren-

dizaje
El cambio en un peso de la red es poporcional al gradiente del error como se refleja
en la equacion (3.10). Dicha proporcionalidad viene dada por el parametro , tambien
llamado razon o tasa de aprendizaje. Este parametro es el encargado de controlar cuanto
se desplazan los pesos de la red en la superficie del error siguiendo la direccion negativa
del gradiente. Determina, por tanto, la magnitud de dicho desplazamiento, influyendo
as en la velocidad de convergencia del algoritmo.
Valores altos de , podran favorecer una convergencia mas rapida, pues permiten
avanzar rapidamente en la superficie del error. Sin embargo, razones de aprendizaje
altas pueden tener consecuencias negativas en el aprendizaje, como que el metodo se
salte un mnimo e incluso que el metodo oscile alrededor del mnimo. Valores pequenos
de podran evitar estos problemas, aunque a costa de una convergencia mas lenta del
algoritmo de aprendizaje, pues la magnitud de los desplazamientos en la superficie del
error es mas pequena.
Un metodo simple para evitar la inestabilidad en el algoritmo de aprendizaje debi-
do a la razon de aprendizaje es modificar la ley de aprendizaje dada por la ecuacion
3.10 mediante la inclusion de un segundo termino, llamado momento, obteniendo as la
siguiente ley:

e(n)
w(n) = w(n 1) = + w(n 1) (3.35)
w
donde w(n 1) = w(n 1) w(n 2) es el incremento de w en la anterior iteracion
y es un numero positivo que controla la importancia asignada al incremento anterior.

3.3.3. Proceso de aprendizaje del perceptron multicapa

Como se ha comentado en el apartado anterior, el objetivo del aprendizaje o entrena-
miento del perceptron multicapa es ajustar los parametros de la red -pesos y umbrales-
con el fin de que las entradas presentadas produzcan las salidas deseadas, es decir, con
el fn de minimizar la funcion de error E. En esta seccion se van a detallar los pasos
que involucra el proceso completo de aprendizaje del perceptron multicapa de acuerdo
al algoritmo de retropropagacion.
Sea {(X(n), S(n)), n = 1, ...N } el conjunto de muestras o patrones que representan
el problema a resolver, donde X(n) = (x1 (n), ..., xn1 (n)) son los patrones de entrada a
la red, S(n) = (s1 (n), ..., snc (n)) son las salidas deseadas para dichas entradas y N es
el numero de patrones disponibles. Generalmente, es frecuente encontrar los patrones
de entrada y salida normalizados o escalados mediante una transformacion lineal en los
intervalos [0,1] o [-1,1] dependiendo de las funcion de activacion empleada.
Los pasos que componen el proceso de aprendizaje del perceptron multicapa son los
siguientes:

1. Se inicializan los pesos y umbrales de la red. Generalmente, esta inicializacion es

aleatoria y con valores alrededor de cero.

27
Seccion 3.3 3. Perceptron multicapa

2. Se toma un patron n del conjunto de entrenamiento, (X(n), S(n)), y se propaga

hacia la salida de la red el vector de entrada X(n) utilizando las ecuaciones (3.1),
(3.2) y (3.3), obteniendose as la respuesta de la red para dicho vector de entrada,
Y (n).

3. Se evalua el error cuadratico cometido por la red para el patron n utilizando la

ecuacion (3.9).

4. Se aplica la regla delta generalizada para modificar los pesos y umbrales de la red.
Para ello se siguen los siguientes pasos:

a) Se calculan los valores para todas las neuronas de la capa de salida utilizando
la ecuacion (3.14).
b) Se calculan los valores para el resto de las neuronas de la red utilizando
la ecuacion (3.27) empezando desde la ultima capa oculta y retropropagando
dichos valores hacia la capa de entrada.
c) Se modifican los pesos y umbrales de la red siguiendo las ecuaciones (3.16) y
(3.17) para los pesos y umbrales de la capa de salida y (3.26) y (3.28) para el
resto de parametros de la red.

5. Se repiten los pasos 2, 3 y 4 para todos los patrones de entrenamiento, completando

as un ciclo de aprendizaje, o epoch.

6. Se evalua el error total E ecuacion (3.8) cometido por la red. Dicho error tambien
recibe el nombre de error de entrenamiento, pues se calcula utilizando los patrones
de entrenamiento.

7. Se repiten los pasos 2, 3, 4, 5 y 6 hasta alcanzar un mnimo del error de entrena-

miento, para lo cual se realizan m ciclos de aprendizaje.

Existe una variante del proceso de aprendizaje descrito anteriormente en la que los
parametros de la red se modifican una vez que todos los patrones han sido prentados a
la red, y no para cada patron de entrenamiento. Esta variante se conoce como proceso
batch.
Entrenar una red neuronal para para aprender patrones presentes en los datos de
entrada implica presentarle de forma iterativa ejemplos de las respuestas correctas co-
nocidas. El fn del entrenamiento es encontrar un conjunto de pesos y umbrales que
determine un mnimo global en la funcion de error.
Si el modelo no esta sobreentrenado, -ver secciones 4.5.1 y 4.5.2- este conjunto de
parametros debera proporcionar una correcta generalizacion. Los entrenamientos que
utilizan el metodo de descenso del gradiente ajustan progresivamente dichos parametros
en la direccion de maxima pendiente decreciente en la superficie del error. Encontrar el
mnimo global de dicha superficie no esta garantizado ya que esta puede incluir muchos
mnimos locales en los que el proceso de entrenamiento converge. La inclusion del factor
de momento en la funcion de aprendizaje y la ejecucion del entrenamiento con varios

28
3. Perceptron multicapa Seccion 3.3

Figura 3.2: Representacion del criterio de early-stopping

conjuntos iniciales distintos de pesos puede mejorar las probabilidades de encontrar un

mnimo global.
Una ventaja de las redes neuronales es su habilidad para adaptarse a los cambios del
mercado por medio de un reentrenamiento periodico. Una vez entrenada, el desempeno
de una red neuronal se vera degradado a lo largo del tiempo a no ser que se reentrene.
Un buen modelo debera ser robusto con respecto a la frecuencia de reentrenamien-
to y normalmente mejorara a medida que el reentrenamiento se realice de forma mas
frecuente.

3.3.4. Early stopping

Una manera de acometer el problema de sobre-entrenamiento (overfitting) es extraer

un subconjunto de muestras del conjunto de entrenamiento (notese que el conjunto de
test se ha extrado previamente) y utilizarlo de manera auxiliar durante el entrenamiento.
Este subconjunto recibe el nombre de conjunto de validacion. La funcion que desem-
pena el conjunto de validacion es evaluar el error de la red tras cada epoch (o tras cada
cierto numero de epochs ) y determinar el momento en que este empieza a aumentar.
Ya que el conjunto de validacion se deja al margen durante el entrenamiento, el error
cometido sobre el es un buen indicativo del error que la red cometera sobre el conjunto
de test. En consecuencia, se procedera a detener el entrenamiento en el momento en
que el error de validacion aumente y se conservaran los valores de los pesos del epoch
anterior. Este criterio de parada se denomina early-stopping. La Figura 3.2 describe el
procedimiento explicado.

29
Seccion 3.4 3. Perceptron multicapa

3.4. Algunos algoritmos de entrenamiento avanzados

3.4.1. Levenberg-Marquardt
El metodo de Levenberg-Marquardt (LM) [29] [30] es un tipo de algoritmo de entre-
namiento similar a los denominados quasi-Newton. Para entender la funcionalidad del
metodo LM es conveniente empezar por comprender el metodo de Newton. El metodo
de Newton es un metodo de segundo orden que constituye una alternativa a los metodos
de gradiente conjugado para optimizacion rapida. El paso basico del metodo de Newton
durante el epoch n es

w(n + 1) = w(n) H(n)1 g(n) (3.36)

donde w es el vector de pesos, g(n) es el vector gradiente actual y H(n) es la matriz

Hessiana (de derivadas segundas) de la funcion de error respecto a los pesos, evaluada
en los valores actuales de pesos y umbrales. El metodo de Newton generalmente conver-
ge mas rapido que los metodos de gradiente conjugado. Desafortunadamente, la matriz
Hessiana es compleja y costosa de calcular para las redes feedforward. Los algoritmos
denominados quasi-Newton (metodo de la secante) calculan y actualizan una aproxima-
cion de la matriz Hessiana sin necesidad de resolver las derivadas de segundo orden en
cada iteracion. La actualizacion realizada es funcion del gradiente.
Al igual que los metodos quasi-Newton, el algoritmo LM fue disenado para acometer
entrenamientos rapidos de segundo orden sin tener que calcular la matriz Hessiana.
Cuando la funcion de error tiene la forma de una suma de cuadrados (el caso tpico en
las redes feedforward ), entonces la matriz Hessiana puede aproximarse como

H = JT J (3.37)

donde J es la matriz Jacobiana que contiene las primeras derivadas de la funcion de

error de la red respecto a los pesos y umbrales. El gradiente se obtiene como

g = JT e (3.38)

siendo e el vector de errores de la red. El calculo de la matriz Jacobiana se reduce

a un simple calculo del algoritmo de retropropagacion que es mucho mas sencillo que
construir la matriz Hessiana. El metodo LM actualiza los pesos de forma similar al
metodo de Newton pero introduciendo los cambios anteriores:
1
w(n + 1) = w(n) JT J + I JT e

(3.39)

donde el parametro actua como tasa de aprendizaje. Cuando es cero, el algoritmo

se convierte en el metodo de Newton empleando la forma aproximada del calculo de la
matriz Hessiana:

w(n + 1) = w(n)H1 g (3.40)

30
3. Perceptron multicapa Seccion 3.4

Cuando es grande, se puede despreciar la aportacion de la matriz Hessiana al calculo

y obtenemos el metodo de descenso de gradiente con un tamano de paso (1/):
1
w(n + 1) = w(n) g (3.41)

El metodo de Newton es mas eficaz cerca de un mnimo de error, as que el objetivo
es migrar al metodo de Newton tan pronto como sea posible. As pues, se reduce tras
cada paso exitoso (cada vez que el error se logra reducir) y solo se aumenta cuando el
error aumenta respecto a la iteracion anterior. Con esta metodologa, la funcion de error
siempre disminuye tras cada iteracion del algoritmo.
El algoritmo LM parece ser el metodo mas rapido para entrenar redes feedforward
de tamano moderado (hasta varios centenares de parametros). Su principal desventaja
es que requiere almacenar las matrices Jacobianas que, para ciertos conjuntos de datos,
pueden ser muy grandes, lo que significa un gran uso de memoria.

3.4.2. Regularizacion bayesiana

La regularizacion constituye un criterio de parada de entrenamiento alternativo al
earlystopping visto en la Seccion 3.3.4. El metodo de regularizacion bayesiana (BR)
implica modificar la funcion de coste, normalmente el MSE. El MSE sobre el conjunto
de datos de test (MSEd) se expresa mediante una suma de cuadrados de los errores
individuales ei de cada muestra de un conjunto de test de N datos de la siguiente forma:
N
1 X
M SEd = (ei )2 (3.42)
N
i=1

La modificacion comentada tiene el proposito de mejorar la capacidad de generaliza-

cion del modelo. Para conseguirlo, la funcion de coste de la Ecuacion 3.42 se ampla con
la adicion de un termino M SEw que incluye el efecto de la suma de cuadrados de los
pesos de la red. Es decir:
N
1 X
M SEw = (ew )2 (3.43)
N
i=1

Y la funcion de coste modificada queda as:

M SE = M SEd + M SEw (3.44)

donde y son parametros que deben ser ajustados segun la metodologa Bayesiana
de MacKay [31] [?]. Esta metodologa asume que los pesos y umbrales son variables alea-
torias que siguen distribuciones especficas (normalmente Gaussianas). Los parametros
de regularizacion estan relacionados con las varianzas desconocidas asociadas a estas
distribuciones. Se pueden estimar estos parametros mediante tecnicas estadsticas. Una
caracterstica de este algoritmo es que proporciona una medida de cuantos parametros
de la red (pesos y umbrales) estan siendo efectivamente usados por esta. Este numero de

31
Seccion 3.4 3. Perceptron multicapa

parametros efectivos debera llegar a ser aproximadamente constante, sin importar cuan
grande se haga el numero de parametros reales de la red. Para esto se asume que la
red ha sido entrenada durante suficientes epochs y que el entrenamiento ha convergido.
Se conoce que la tecnica de regularizacion optima requiere la costosa construccion
de la matriz Hessiana. Como se ha indicado en la seccion anterior, existen algoritmos
que solventan esta dificultad mediante aproximaciones de dicha matriz. Un algoritmo
que se emplea a menudo en combinacion con la tecnica de regularizacion Bayesiana es
el algoritmo LM. Otra consideracion importante es que el algoritmo BR funciona mejor
cuando tanto el rango de entrada como el de salida se encuentran en [1, 1]. Si no se da
el caso para un determinado problema, es conveniente escalar los datos.

32