2014 Introducción A Las Redes Neuronales

Introduccin a las Redes Neuronales
ESCOLA UNIVERSITRIA POLITCNICA

DE VILANOVA I LA GELTR
Departament dESAII
INTRODUCCIN A LAS REDES
NEURONALES
1
ndice General
1. Historia de las Redes Nero!ales .................................................................... pg 1
". Ge!eralidades .............................................................................................. pg 4
2.1 Qu entendemos por Red Neuronal Artificial .............................. pg 4
2.1.1 Redes Neuronales de tipo !iolgico .............................. pg 4
2.1.2 Neurona Artificial ..................................................................... pg "
2.1.# $one%iones entre Neuronas ........................................... pg &
2.1.4 Regla de Aprendi'a(e ........................................................ pg )
2.1." Redes Neuronales para Aplicaciones $oncretas .................. pg )
2.2 *ases en la Aplicacin de Redes Neuronales ........................................... pg )
#. Estr$tra de las Redes Nero!ales Arti%i$iales ........................................... pg +
#.1 ,structuras de $one%in ..................................................................... pg +
#.2 -ama.o de las Redes ..................................................................... pg +
&. Ti'os de (odelos de Redes Nero!ales ........................................................ pg 11
4.1 /todos de Aprendi'a(e. $lasificacin General .............................. pg 11
4.2 Aprendi'a(e 0uper1isado ..................................................................... pg 11
4.2.1 Reglas de ,ntrenamiento 0uper1isado .............................. pg 11
4.2.2 Aprendi'a(e super1isado !asado en la 2ecisin ................. pg 12
4.2.2.1 Regla de ,ntrenamiento !asada
en la 2ecisin ........................................................ pg 12
4.2.2.2 ,structura 3err4uica 2!NN .............................. pg 14
4.2.# Redes Neuronales de Apro%imacin56ptimi'acin .... pg 1&
4.# /odelos No 0uper1isados .................................................................... pg 1&
4.#.1 Reglas de ,ntrenamiento No 0uper1isado .............................. pg 1)
4.#.2 Aprendi'a(e $ompetiti1o ........................................................ pg 1)
). (odelos de Redes Nero!ales ..................................................................... pg 27
".1 /odelos 0uper1isados ..................................................................... pg 27
".1.1 8erceptrn ..................................................................... pg 27
".1.2 ,l 8erceptrn /ulticapa ........................................................ pg 27
".1.# Adaline 9 /adaline ........................................................ pg 21
".1.4 !ac:propagation ..................................................................... pg 21
".1." 6tros /odelos ..................................................................... pg 22
".2 /odelos No 0uper1isados ..................................................................... pg 22
".2.1 Redes de ;opfield ........................................................ pg 22
".2.2 <os /apas de =o>onen ........................................................ pg 2#
".2.# Redes !asadas en la -eor?a de la
Resonancia Adaptati1a ........................................................ pg 2&
".2.4 /apas Autoorgani'ados de 8ropiedades .............................. pg 2&
".2." No 0uper1isados $ompetiti1os ........................................... pg 2&
".2.".1 Redes !asadas en la -eor?a de la
Resonancia Adaptati1a .............................. pg 2&
2
*. A'li$a$io!es........................................................................................................... pg 2@
&.1 Redes 1s /todos $lsicos .................................................................... pg 2@
&.2 $ampos de Aplicacin .................................................................... pg 2@
&.# Aplicaciones ................................................................................. pg #7
&.#.1 ,(emplo de $onsumo ,lctrico .......................................... pg #7
&.#.2 ,(emplo de una -argeta de $redito ............................. pg #2
&.#.# ,(emplo de $onsumo de Gas .......................................... pg #4
&.#.4 ,(emplo *inanciero ....................................................... pg #)
&.#." ,(emplo de 2ecisiones de Actuacin en el /ercado ... pg #+
&.4 8lu1iometr?a ................................................................................. pg 41
&.4.1 Introduccin .................................................................... pg 41
&.4.2 Gestin del Alcantarillado 9 8lu1iometr?a .............................. pg 41
&.4.# 6A(eti1osB la 8rediccin a $orto 8la'o .............................. pg 42
&.4.4 <as ANNsB una ;erramienta de 8rediccin ................. pg 42
&.4." 8reparacin de los 2atos de <lu1ia .............................. pg 4#
&.4.& $onstruccin de un /odelo de 8rediccin .............................. pg 4#
&.4.) Resultados ..................................................................... pg 4"
&.4.@ Nue1os 6A(eti1os ..................................................................... pg 4"
&.4.+ $onclusiones ..................................................................... pg 4&
+. La Te$!olo,-a e! las ANNs .................................................................................. pg 4)
).1 0imuladores 0oftCare ..................................................................... pg 4)
).2 $>ips de 0ilicio .................................................................................. pg 4@
).# 8rocesadores Dpticos ..................................................................... pg 4@
.. I!trod$$i/! al Si0lador 1NeralGra'2i$s3 ........................................... pg 4+
4. Co!$lsio!es ............................................................................................... pg "&
15. 6i7lio,ra%-a ............................................................................................... pg ")
#
1 Historia de las Redes Nero!ales
Desde el principio de la humanidad se so con el desarrollo de mquinas que puedan
imitar la capacidad de aprendizaje del hombre. Actualmente es un desafo en el que
pone todas sus miradas una parte de la comunidad cientfica.
El hombre se ha caracterizado siempre, a lo largo de su eistencia, por una b!squeda
constante de nue"as "as para mejorar sus condiciones de "ida. Estos esfuerzos le
han ser"ido para reducir el trabajo en aquellas operaciones en las que la fuerza juega
un papel primordial. #os progresos obtenidos han permitido dirigir estos esfuerzos a
otros campos, como por ejemplo, a la construccin de mquinas calculadoras que
a$uden a resol"er de forma automtica $ rpida determinadas operaciones que
resultan tediosas cuando se realizan a mano. En la actualidad eisten di"ersas
maneras de realizar procesos similares a los inteligentes humanos, a los que
podemos denominar %nteligencia Artificial &A%'.
Estas mquinas, denominadas mquinas inteligentes, permiten implementar
fcilmente algoritmos para resol"er multitudes de problemas que antes resultaban
engorrosos de solucionar. (in embargo, se obser"a una limitacin importante, que
ocurre cuando el problema que se quiere resol"er no admite un tratamiento
algortmico, como es el caso, de la clasificacin de objetos por rasgos comunes. Este
ejemplo demuestra que la construccin de nue"as mquinas ms "erstiles requieren
un enfoque del problema desde otro punto de "ista.
#os desarrollos actuales de los cientficos se dirigen al estudio de las capacidades
humanas, como una fuente de nue"as ideas para el diseo de dichas mquinas. As,
la inteligencia artificial es un intento por descubrir $ describir aspectos de la
inteligencia humana que pueden ser simulados mediante mquinas. Esta disciplina se
ha desarrollado fuertemente en los !ltimos aos, teniendo aplicacin en algunos
campos como "isin artificial, demostracin de teoremas, procesamiento de
informacin epresada mediante lenguajes humanos... etc. #as redes neuronales son
otra forma de emular otra de las caracterstica propias de los humanos.
)artiendo que las redes neuronales se fundamentan en el sistema ner"ioso humano,
deberamos remontarnos a los tiempos de *aleno en los que $a se tenia un
conocimiento considerables de este. (in embrago, los "erdaderos a"ances en
neurologa se produjeron a partir de la segunda mitad del siglo +%+. %n"estigadores
ilustres de esta ,poca son -ac.son, /amn $ 0ajal $ *olgi entre otros.
2urante la 0egunda Guerra /undialE el goAierno de los ,stados unidos constru9 el ,NIA$. 0e
trataAa de una ma4uina capa' de calcular taAlas de artiller?a. ,ra de los primeros ordenadores
electrnicos Fal un?sono se crearon dos ms en Alemania e Inglaterra para fines tamAin
AlicosG Aasado en tuAos de 1ac?o 9 despro1isto de partes m1iles. $onten?a 1@.777 tuAos 9
pesaAa #7 toneladas. ,ra capa' de reali'ar 27.777 multiplicaciones por minutoE es decirE era mil
1eces ms rpido 4ue su antecesor de rels. ,n el preciso momento en el 4ue se camAi la
4
utilidad del ,NIA$E en este casoE para oA(eti1os no AlicosE sali a la lu' un fallo de dise.o.
Imagen 1.1 0ala del ,NIA$
1alter )itts $ 1arren 2c0ulloch intentaron eplicar en 3456 el funcionamiento del
cerebro humano, por medio de una red de c,lulas conectadas entre s podan ejecutar
operaciones lgicas. )artiendo del menor suceso psquico &estimado por ellos'7 el
impulso todo8nada, generado por una c,lula ner"iosa. El bucle 9sentidos : cerebro :
m!sculos9, mediante la retroalimentacion produciran una reaccin positi"a si los
m!sculos reducen la diferencia entre una condicin percibida por los sentidos $ un
estado fsico impuesto por el cerebro. ;ambi,n definieron la memoria como un
conjunto de ondas que re"erberan en un circuito cerrado de neuronas. Actualmente,
sabemos que las decisiones conscientes acerca de la "erdad de las proposiciones
lgicas se producen a un ni"el ms alto, $ quizs participen en ellas millones de
c,lulas cerebrales.
En 3454, el fisilogo Donald <ebb epuso en su libro ;he =rganitation of >eha"ior
?<E>>54@ la conocida regla de aprendizaje. (u propuesta tenia que "er con la
conducti"idad de la sinapsis, es decir, con las coneiones entre neuronas. <ebb
epuso que la repetida acti"acin de una neurona por otra a tra",s de una sinapsis
determinada, aumenta su conducti"idad, $ la haca ms propensa a ser acti"ada
sucesi"amente, induciendo a la formacin de un circuito de neuronas estrechamente
conectadas entre s.
Durante el "erano de 34A3, 2ins.$ $ Edmons montaron la primera mquina de redes
neuronales, compuesta bsicamente de 6BB tubos de "aco $ un piloto automtico de
un bombardero >:C5 &en desuso por supuesto'. #lamaron a su creacin 9(harc9, se
trataba nada menos que de una red de 5B neuronas artificiales que imitaban el cerebro
de una rata.
0ada neurona hacia el papel de una posicin del laberinto $ cuando se acti"aba daba
a entender que la 9rata9 sabia en que punto del laberinto estaba. #as neuronas que
estaban conectadas alrededor de la acti"ada, hacan la funcin de alternati"as que
seguir por el cerebro, la acti"acin de la siguiente neurona, es decir, la eleccin entre
9derecha9 o 9izquierda9 en este caso estara dada por la fuerza
de sus coneiones con la neurona acti"ada. )or ejemplo, la 9rata9
completaba bien el recorrido eligiendo a partir de la quinta
neurona la opcin 9izquierda9 &que correspondera a la seta', es
entonces cuando las coneiones entre la quinta $ seta se hacen
ms fuertes &dicha conein era realizada por el piloto
automtico', haciendo desde este momento ms propensa esta
decisin en un futuro. )ero las t,cnicas (.innerianas &que eran
las que se haban puesto en funcionamiento en esta red
neuronal' no podran lle"ar mu$ lejos a este nue"o engendro, la
razn pasa porque esto, en s, no es inteligencia, pues la red neuronal nunca llegara a
trazar un plan.
%magen 3.C 2ins.$, 2ar"in
"
Despu,s de su /ed Deuronal, 2ins.$ escribi su tesis doctoral acerca de esta, en ella
describa 9cerebros mucho ma$ores9, eponiendo que si se realizaba este pro$ecto a
gran escala, con miles o millones de neuronas ms $ con diferentes sensores $ tipos
de retroalimentacinEla mquina podra ser capaz de razonar, mas el sabia que la
realizacin de esta /ed Deuronal era imposible $ decidi buscar otra forma de crear
inteligencia.
En 34AF, Gran. /osenblatt present al )erceptron, una red neuronal con aprendizaje
super"isado cu$a regla de aprendizaje era una modificacin de la propuesta por <ebb.
#a "erdad es que el )erceptron fue una buena idea, $ es posible que los problemas
que obtu"o fuesen pro"ocados mas que nada por el eagerado entusiasmo de su
creador. 2s tarde, en 34H4, 2ar"in 2ins.$ $ (e$mour )aper escribieron un libro
llamado )erceptrons ?2%D(H4@, en donde definan a estos como caminos sin salida.
;ambi,n es "erdad que indagaron en ellos $ sacaron conclusiones mu$ curiosas e
interesantes, pero dado que ambos eran dos personalidades de peso en el mundo de
la %.A., en cuanto se public el libro, todas las in"estigaciones a cerca de )erceptrones
se paralizaron $ anularon.
En los aos HB se propusieron otros dos modelos, tambi,n super"isados, basados en
el )erceptron de /osenblatt denominados Adaline $ 2adaline. En estos, la adaptacin
de los pesos se realiza teniendo en cuenta el error, calculado como la diferencia entre
la salida deseada $ la dada por la red, al igual que en el )erceptron. (in embargo, la
regla de aprendizaje empleada es distinta.
#a era moderna de las redes neuronales artificiales surge con la t,cnica de
aprendizaje de propagacin hacia atrs o >ac.propagation. En 34FF, -ames Anderson
desarroll un modelo lineal, llamado Asociador #ineal, que consista en unos
elementos integradores lineales &neuronas' que sumaban sus entradas. En 34IC -ohn
<opfield present un trabajo sobre redes neuronales en la Academia Dacional de las
0ienciasJ en el cual describe con claridad $ rigor matemtico una red a la que ha dado
su nombre, que "iene a ser un "ariacin del Asociador #ineal. En este mismo ao la
empresa Gujitsu comenz el desarrollo de computadores pensantes para aplicaciones
en robtica.
En 34IA, el %nstituto Americano de Gsica comenz la reunin anual Deural DetKor.s
for 0omputing. En 34IF la %EEE celebr su primera conferencia internacional sobre
redes neuronales. En este mismo ao se form la %nternational Deural DetKor. (ociet$
&%DD(' bajo la iniciati"a $ direccin de *rossberg en L(A, Mohonen en Ginlandia $
Amari en -apn. En 34II, result la unin entre la %EEE $ de la %DD( que produjo la
%nternational -oint 0onference on Deural DetKor.s. Esta nue"a organizacin realiz
56B artculos de los cuales H6 estaban enfocados a una aplicacin. #a alternati"a
europea fue la %nternational 0onference on Artificial Deural DetKor.s que comenz su
andadura en septiembre de 34I3, $ actualmente est organizada por la (ociedad
Europea de /edes Deuronales. ;ambi,n merece una referencia aparte la reunin
anual Deural %nformation )rocessing ($stems celebrada en Den"er &0olorado' desde
34IF, $ que probablemente represente el ni"el ms alto de calidad desde el punto de
"ista cientfico.?)/-4I@.
&
" Ge!eralidades
".1 89 e!te!de0os 'or Red Nero!al Arti%i$ial :
<as Redes Neuronales Artificiales FANNG son sistemas paralelos para el procesamiento de la
informacinE inspirados en el modo en el 4ue las redes de neuronas Aiolgicas del cereAro
procesan esta. ,s decir 4ue se >an intentado plasmar los aspectos esenciales de una neurona real
a la >ora de dise.ar una neurona HartificialI. ,stos modelos reali'an una simplificacinE
a1eriguando cuales son los elementos rele1antes del sistemaE Aien por4ue la cantidad de
informacin de 4ue dispone es e%cesi1a o Aien por4ue es redundante. Jna eleccin adecuada de
sus caracter?sticasE ms una estructura con1enienteE es el procedimiento con1encional utili'ado
para construir redes capaces de reali'ar una determinada tarea.
,s de pre1er 4ue dic>as ANN tengan caracter?sticas similares a las del cereAroB
K 0ean roAustas 9 tolerantes a fallos
K 0ean fle%iAles. ,l cereAro se adapta a nue1as circunstancias mediante el aprendi'a(e.
K 8uedan traAa(ar con informacin AorrosaE incompletaE proAaAil?sticaE con ruido o
inconsistente.
K 0ean altamente paralelas. ,l cereAro est formado por muc>as neuronas interconectadas
entre si 9 esE precisamente el comportamiento colecti1o de todas ellasE lo 4ue caracteri'a su
forma de procesar la informacin.
,l punto cla1e de las ANNs es la nue1a estructuracin de estos sistemas para el procesamiento
de la informacin. A partir de esta informacin como e(emploE las ANN aprenden. Aprender en
sistemas Aiolgicos in1olucra la modificacin de la interconecti1idad entre las neuronasL este
concepto tamAin es cierto para las ANNs.
<os campos de aplicacin de las ANNs crecen por momentosE por e(emploE reconocimiento de
patronesE clasificacin de datosE prediccionesE... 0u 1enta(a ms destacada es la de solucionar
proAlemas 4ue con las tcnicas con1encionales ser?an demasiado comple(os.
<as redes neuronalesE en su inicio eran una simulacin de los sistemas ner1iosos Aiolgicos. 2e
este modo una primera clasificacin de los modelos de ANNs puede ser Aasndonos en su
similitud con la realidad AiolgicaB modelos de tipo Aiolgico 9 a4uellos dirigidos a
aplicaciones.
".1.1 Redes Nero!ales de ti'o 6iol/,i$o
,l cereAro >umano contiene apro%imadamente 12 Aillones de clulas ner1iosas o neuronas.
$ada neurona tiene de "&77 a &7777 cone%iones dendr?ticas pro1enientes de otras neuronas
mientras 4ue en el sistema ner1ioso >a9 17
14
sinapsisL teniendo cada neurona ms de 1777 a la
entrada 9 a la salida. ,s importante destacar 4ue aun4ue el tiempo de conmutacin de la neurona
es casi un milln de 1eces menor 4ue las computadoras actualesE ellas tienen una conecti1idad
miles de 1eces superior 4ue las actuales supercomputadoras.
<a principal aplicacin de estas redesE es el desarrollo de elementos sintticos para 1erificar las
>iptesis 4ue conciernen a los sistemas Aiolgicos.
<as neuronas 9 las cone%iones entre ellaE llamadas sinapsisE son la cla1e para el procesado de la
informacin. 6Aser1ar la imagen 2.1B
)
Imagen 2.1 Neurona !iolgica
<a ma9or?a de neuronas tienen una estructura parecida a la de un rAol llamadas dendritas 4ue
reciAen las se.ales de entrada 4ue 1ienen de otras neuronas a tra1s de las sinapsis.
Jna neurona consta de tres partesB
1. ,l cuerpo de la neurona
2. Ramas de e%tensin FdendritasG para reciAir las entradas
#. Jn a%n 4ue lle1a la salida de una neurona a las dendritas de otras neuronas
Imagen 2.2 Red de Neuronas
<a interaccin entre dos neuronas no es del todo conocida pero el proceso del traspaso de
informacin es modelado como una regla de propagacin representada por la red uF.G. /ientras
4ue la neurona puede ser modelada como una simple funcin escaln fF.G.
".1." La Nero!a Arti%i$ial
0i se tienen N neuronasE podemos ordenarlas arAitrariamente 9 designarlas como unidades. 0u
traAa(o es simple 9 MnicoE 9 consiste en reciAir las entradas de las clulas 1ecinas 9 calcular un
1alor de salidaE el cual es en1iado a todas las clulas restantes.
@
Imagen 2.# Neurona Artificial
0e conoce como capa o nivel a un con(unto de neuronas cu9as entradas pro1ienen de la misma
fuente F4ue puede ser otra capa de neuronasG 9 cu9as salidas se dirigen al mismo destino F4ue
puede ser otra capa de neuronasG. 2e esta manera podemos destacar tres tipos de unidadesB
- <as unidades de entrada reciAen se.ales desde el entorno Fson se.ales 4ue
proceden de sensores o de otros sectores del sistemaG.
- <as unidades de salida en1?an la se.al fuera del sistema Fson se.ales 4ue pueden
controlar directamente potencias u otros sistemasG. <as neuronas de las capas
ocultas pueden estar interconectadas de distinta maneraE lo 4ue denominaE lo 4ue
determina con su nMmeroE las distintas tipolog?as de redes neuronales.
- <as unidades ocultas son a4uellas cu9as entradas 9 salidas se encuentran dentro
del sistema Fson se.ales 4ue no tienen contacto con el e%teriorG.
Imagen 2.4 $aracteri'acin de un grupo de Neuronas
".1.# Co!e;io!es E!tre Nero!as
<as cone%iones 4ue unen a las neuronas 4ue forman una red neuronal artificialE tienen asociado
un pesoE 4ue es el 4ue >ace 4ue la red ad4uiera conocimiento.
$onsideremos yi como el 1alor de salida de una neurona i en un instante dado. Jna neurona
reciAe un con(unto de se.ales 4ue le dan informacin del estado de acti1acin de todas las
neuronas con las 4ue se encuentra conectada. $ada cone%in FsinapsisG entre la neurona i 9 la
neurona j est ponderada por un peso wje. NormalmenteE de forma simplificadaE se considera
4ue el efecto de cada se.al es aditi1oE de tal forma 4ue la entrada neta 4ue reciAe una neurona
Fpotencial postsinpticoG netj es la suma del producto indi1idual por el 1alor de la sinapsis 4ue
conecta amAas neuronasB

N
i
i ji j
y w net
+
,sta regla muestra el procedimiento a seguir para comAinar los 1alores de entrada a una unidad
con los pesos de las cone%iones 4ue llegan a esa unidad 9 es conocida como regla de
propagacin.
".1.& Re,la de A're!di<a=e.
Al igual 4ue el funcionamiento de una red depende del numero de neurones de las 4ue disponga
9 de como estn conectadas entre siE cada modelo dispone de sus propias tcnicas de
aprendi'a(e. ,n el caso de las redes neuronales artificialesE se puede considerar 4ue el
conocimiento se encuentra en los pesos de las cone%iones entre neuronas. -odo proceso de
aprendi'a(e implica cierto nMmero de camAios en estas cone%iones. ,n realidad puede decirse
4ue se aprende modificando los 1alores de los pesos de la red.
".1.) Redes Nero!ales 'ara a'li$a$io!es $o!$retas
2eAido a 4ue el conocimiento soAre el sistema ner1ioso en general no es completo se >an de
definir otras estructuras 9 funcionalidades distintas a las 1istas en las de tipo Aiolgico. ,stas
son sus principales caracter?sticasB
K AutoNorgani'acin 9 Adaptati1idad. 6frecen procesos roAustos 9 adaptati1os 9a 4ue utili'an
algoritmos de autoaprendi'a(e 9 autoorgani'acin.
K 8rocesado no lineal. 8roporciona una gran capacidad de apro%imarE clasificar 9 inmunidad
frente al ruido.
K 8rocesador paralelo. 0e usan un gran nMmero de clulas con un alto ni1el de
interconecti1idad.
<os campos de aplicacin son el procesado de se.al 9 el de imagen.
"." >ases e! la a'li$a$i/! de Redes Nero!ales
<as aplicaciones del mundo real deAen cumplir dos tipos diferentes de re4uisitos en el
procesadoE por esoE podemos distinguir dos fasesB fase la de aprendizaje o entrenamiento
y la fase de prueba.
,n la fase de entrenamiento se trata de determinar los pesos usando un con(unto de datos para
definir el modelo neuronal. Jna 1e' entrenado este modelo en la fase de prueAaE se procesarn
los patrones 4ue constitu9en la entrada >aAitual de la redE anali'ando as? las prestaciones finales
de la red.
K *ase de prueAa. <os parmetros de dise.o de la red neuronal se >an oAtenido unos patrones
representati1os de las entradasE a los 4ue denominamos patrones de entrenamiento.
0egMn el tipo de redE 9 en funcin de las ecuaciones dinmicas de prueAaE los resultados pueden
ser calculados de una 1e' o adaptados iterati1amente. 8ara 1alidar el dise.oE una 1e' calculados
los pesosE se comparan los 1alores de las neuronas de la Mltima capa con la salida deseada.
K *ase de aprendi'a(e. Jna caracter?stica Asica de las ANNs es su capacidad de aprender.
Aprenden por su actuali'acin o camAio de los pesos sinpticos 4ue caracteri'an a las
cone%iones. <os pesos se adaptan de acuerdo a la informacin e%tra?da de los patrones de
entrenamiento nue1os 4ue se 1an presentando.
17
0egMn el tipo de entrenamientoE una posiAle clasificacin de las ANNs esB
Redes Nero!ales
FIJO NO SUPERVISADO SUPERVISADO
Red de Hamming Perceptrn
Red de H!p"ie#d $apa de
Caracter%&tica&
'a&ada& en Deci&in
Aprendi(a)e
C!mpetiti*!
ADALINE +L$S,
Perceptrn $-#ticapa
$!de#!& Temp!ra#e&
Din.mic!&
$!de#!& Oc-#t!& de
$ar/!*
11
# Estr$tra de las Redes Nero!ales Arti%i$iales
<os aspectos ms caracter?sticos de las estructuras de redes sonB la estructura de cone%inE el
tama.o de la red 9 la eleccin entre A$6N 9 6$6N.
#.1 Estr$tras de $o!e;i/!
Lna red neuronal se determina por la neurona $ la matriz de pesos. El comportamiento
de la red depende en gran medida del comportamiento de la matriz de pesos. Eisten
tres tipos de capas de neuronas7 la de entrada, la de salida $ las ocultas. Entre dos
capas de neuronas eiste una red de pesos de conein, que puede ser de los
siguientes tipos7

: Conexin hacia delante7 es la de red de 0onein en la cual, los datos de las
neuronas de una capa inferior son propagados hacia las neuronas de la capa superior.
: Conexin hacia atrs7 esta 0onein realiza la operacin in"ersa a la 0onein hacia
delante, es decir, los datos de las neuronas de una capa superior son lle"ados a otra
de capa inferior.
: Conexin lateral: un ejemplo tpico de este tipo de 0onein es Nel ganador toma
todoO, que cumple un papel importante en la eleccin del ganador.
: Conexin de retardo7 es la conein en la cual se le incorporan unos elementos de
retardo para implementar modelos dinmicos $ temporales, es decir, modelos que
precisa memoria.
)uede darse el caso que las redes sean de una capa, $ su modelo de pesos sea hacia
atrs o bien multicapa hacia delante. 0omo tambi,n es posible, conectar "arias redes
de una sola capa para dar lugar a redes ms grandes.
#." Ta0a?o de las redes
El tamao de las redes depende del n!mero de capas $ del n!mero de neurona
ocultas por capas.
)ara conocer el n!mero de capas de neuronas, a menudo se cuenta a partir del
n!mero de capas de pesos, debido a que en una red multicapa eisten una o ms
capas de neuronas ocultas.
El n!mero de neuronas ocultas est directamente relacionado con las capacidades de
la red, debido a que un comportamiento correcto de la red "iene determinado por el
n!mero de neuronas de la capa oculta.
,leccin entre A$6N 9 6$6N
;picamente, cada nodo de salida se usa para representar una clase.
#a eleccin entre una arquitectura NAll:0lass:in:=ne:DetKor.O &A0=D' o N=ne:0lass:
in:=ne:DetKor.O &=0=D', depende de las necesidades de nuestra aplicacin, debido
a que cada arquitectura posee diferentes caractersticas. #a aproimacin A0=D se
caracteriza por tener todas las clases reconocidas dentro de una super red, en cambio,
la aproimacin =0=D se caracteriza por tener una subred para cada salida. En
algunos casos es "entajoso descomponer la super red de A0=D en "arias subredes
ms pequeas. )or ejemplo, una red de 6H salidas se puede descomponer en 3C
subredes, cada una responsable de tres salidas.
#as dos estructuras difieren claramente en tamao $ rapidez. Aunque el n!mero de
subredes en la estructura =0=D es relati"amente largo, cada subred indi"idual tiene
12
un tamao menor que la red A0=D. Esto se puede eplicar con las figuras 6.3 $ 6.C de
la pgina siguiente7
1#
%magen 6.3 e %magen 6.C /edes (uper"isadas i Do (uper"isadas
#a conclusin a la que se llega, es que la estructura =0=D parece ser que a"entaja a
la A0=D en la rapidez de reconocimiento $ entrenamiento, cuando el n!mero de
clases es grande.
14
& Ti'os de 0odelos de Redes Nero!ales
&.1 (9todos de a're!di<a=e. Clasi%i$a$i/! ,e!eral.
<a clasificacin general ser?a la siguienteB
3: Aprendizaje (uper"isado.
3.3: >asadas en la decisin.
3.C: De Aproimacin8=ptimizacin.
C: Aprendizaje Do (uper"isado.
C.3: Entrenamiento 0ompetiti"o.
C.C: /edes asociati"as de pesos fijos.
;odos estos m,todos de aprendizaje, necesitan unas reglas de entrenamiento
especficas para cada uno de ellos. Ahora pasaremos a comentar los diferentes tipos
de entrenamiento.
&." A're!di<a=e s'er@isado.
En el aprendizaje super"isado &aprender con un maestro', la adaptacin sucede
cuando el sistema compara directamente la salida que proporciona la red con la salida
que se deseara obtener de dicha red.
Eisten tres tipos bsicos7 por correccin de error, por refuerzo $ estocstico.
En el aprendizaje por correccin de error el entrenamiento consiste en presentar al
sistema un conjunto de pares de datos, representando la entrada $ la salida deseada
para dicha entrada &este conjunto recibe el nombre de conjunto de entrenamiento'. El
objeti"o es minimizar el error entre la salida deseada $ la salida que se obtiene.
El aprendizaje por refuerzo es ms lento que el anterior. Do se dispone de un ejemplo
completo del comportamiento deseado pues no se conoce la salida deseada eacta
para cada entrada sino que se conoce el comportamiento de manera general para
diferentes entradas. #a relacin entrada:salida se realiza a tra",s de un proceso de
,ito o fracaso, produciendo este una seal de refuerzo que mide el buen
funcionamiento del sistema. #a funcin del super"isor es ms la de un crtico que la de
un maestro.
El aprendizaje estocstico consiste bsicamente en realizar cambios aleatorios de los
"alores de los pesos $ e"aluar su efecto a partir del objeti"o deseado.
&.".1 Re,las de e!tre!a0ie!to S'er@isado.
<as redes de entrenamiento super1isado >an sido los modelos de redes ms desarrolladas desde
inicios de los dise.os de redes. <os datos para el entrenamiento estn constituidos por 1arios
pares de patrones de entrenamiento de entrada 9 de salida. ,l >ec>o de conocer la salida implica
1"
4ue el entrenamiento se Aeneficia de la super1isin de un maestro. 2ado un nue1o patrn de
entrenamientoE por e(emploE FmO1GN simoE los pesos sern adaptados de la siguiente formaB
G F G F G 1 F m
ij
m
ij
m
ij
w w w +
+
(e puede "er un diagrama esquemtico de un sistema de entrenamiento Supervisado
en la siguiente figura7
Imagen 4.1 ,ntrenamiento 0uper1isado
&."." A're!di<a=e s'er@isado 7asado e! la De$isi/!.
En la regla de entrenamiento basada en la decisin, se actualizan los pesos slo
cuando se produce un error en la clasificacin. Esta regla de entrenamiento es
localizada $ distributi"a, adems comprende el aprendizaje reforzado $ la subred
correspondiente a la clase correcta $ el entrenamiento antirreforzado en la subred
ganadora.
)uesto que el lmite de decisin depende de la funcin discriminante
( ) w xE , es
natural ajustar el lmite de decisin ajustando el "ector de los pesos 0 tanto en la
direccin del gradiente de la funcin discriminante &es decir, entrenamiento reforzado'
o en la direccin contraria &entrenamiento antirreforzado', ms adelante definiremos
estos tipos de entrenamiento.
( ) w x w E t
donde
es una tasa de entrenamiento positi"a.

El "ector gradiente de la funcin con respecto a 0 se denota7
( )
( )
T
N
w w w
w x
w x
1
]
1

E...E
E
E
1
&.".".1 Re,la de e!tre!a0ie!to 7asada e! la de$isi/!.
1&
(upongamos que } {
G F G 1 F
E...E
M
x x S es un conjunto de patrones de entrenamiento,
cada uno corresponde a una de las # clases
} { L i
i
E...E 1 E
. 0ada clase se modela
por una subred con funcin discriminante, digamos,
( )
L i i
w x
E...E 1
E

. (upongamos que
el patrn de entrenamiento m:,simo
G Fm
x
se sabe que pertenece a la clase
i
$
( ) ( ) j l w x w x
m
l
m m
j
m
> E E E
G F G F G F G F

Esto es, la clase ganadora para el patrn es la clase &subred' j:,sima.
3. 0uando jP3, entonces el patrn
G Fm
x
es clasificado correctamente $ no se
necesita ninguna actualizacin.
C. 0uando
i j
, esto es,
G Fm
x
es mal clasificado, entonces se realiza lo
siguiente7
Entrenamiento reforzado7 ( )
i
m
i
m
i
w x w w E
G 1 F
+
+
Entrenamiento antirreforzado7
( )
j
m
j
m
j
w x w w E
G 1 F

+

En la regla de entrenamiento reforzado, el "ector de pesos 0 se mue"e a lo largo de la
direccin positi"a del gradiente, as que la funcin del "alor discriminante aumentar,
aumentando la posibilidad de la seleccin del futuro patrn. El entrenamiento
antirreforzado mue"e 0 a lo largo de la direccin negati"a del gradiente, as que el
"alor de la funcin discriminante disminuir, disminu$endo as la posibilidad de su
futura eleccin.
( )
l
T
l
w z w x E
Entonces el gradiente en la frmula de actualizacin, es simplemente
z
w

Que nos lle"a a la regla del perceptrn lineal.

F-ncin de 1a&e #inea#2 Lna funcin discriminante />G es una funcin de radio
entre el patrn $ el centroide, l
w x
7
( )
2
E
2
l
l
w x
w x

1)
(e usa para cada subred l. As que el centroide
( )
l
w
ms cercano al patrn
actual es el ganador. Al aplicar la frmula del entrenamiento basado en la
decisin a la !ltima ecuacin $ notando que
( ) w x w x E , las siguiente
reglas de entrenamiento se pueden deri"ar7
Entrenamiento reforzado7 ( )
G F G F G 1 F m
j
m
i
m
i
w x w w
+
Entrenamiento antirreforzado7
( )
G F G F G 1 F m
j
m
j
m
j
w x w w
+
F-ncin de 'a&e E#%ptica2 #a "ersin bsica de />G de las D>DD &/edes

Deurales >asadas en la Decisin' discutidas anteriormente se basa en asumir
que el espacio de caractersticas es uniformemente normalizado en todas
direcciones. En la prctica, de todas formas, distintas caractersticas pueden
tener distintos grados de importancia dependiendo en el modo que sean
medidos. Esto lle"a a la adopcin de funciones discriminantes elpticas ms
"erstiles. En la prctica $ para la ma$ora de las aplicaciones, la funcin
discriminante E>G se con"ierte en7
( ) ( )
+
N
k
i ik k lk l
w x w x
1
2
E
3242424 E&tr-ct-ra )er.r5-ica D'NN2
(i una subred se modela como una red de una sola capa, esta red ser inadecuada en
general para tratar con lmites de decisin complejos. )ara obtener una fleibilidad
mima para tratar con lmites de decisin no lineales, se utiliza una estructura
jerrquica D>DD. #a D>DD se caracteriza por su funcin de base, as como por la
estructura jerrquica. #a D>DD combina la regla de aprendizaje del perceptrn $ la
estructura jerrquica.
La funcin de base. )ara dar consciencia al esquema de ndices de la estructura
jerrquica, etiquetamos el ni"el de subred por el ndice l $ la etiqueta del ni"el de
subnodo por el ndice
l
k
. De una forma ms elaborada, la funcin discriminante
para la subred l se denota por
G E F
l
w x
. )ara el ni"el ms bajo, la funcin
discriminante para el subnodo l se denota por
( )
kl i
w xE
donde el entero
l l
k k E...E 1
, $
l
k
denota el n!mero de subnodos de la subred l.
#as funciones de base ms comunes, para los subnodos inclu$en unas
funciones de base lineales #>GRs &#inear >asis Gunctions', funciones de base
radiales />G &/adial >asis Gunctions', $ funciones de base elpticas E>G &Elliptic
>asis Gunction'.
<a$ diferentes estructuras como son7
1@
- Nodo culto !"NNs
Jna apro%imacin sencilla es la estructura de nodo oculto diAu(ada en la figura. ,n la
estructura de nodo ocultoE la funcin discriminante no lineal se modela por una suma de
1arios nodos ocultos. 8or e(emploE un modelo de dos capas se puede representar cada
suAred. ,n este casoE una suAred consiste en mMltiples nodos ocultosE cada uno
representado por una funcin
( )
kl i
w xE . <a funcin discriminante de la suAred es una
comAinacin lineal de los 1alores de los suAnodos. <a funcin discriminante de este tipoE
con la apropiada funcin de AaseE puede apro%imar cual4uier funcin. ,sto permite 4ue la
estructura ad4uiera una potencia de apro%imacin uni1ersal para acomodar casi cual4uier
l?mite de decisin comple(o.
-Subcluster DBNNs.
0onstitu$en una alternati"a a usar la suma escalada de los pesos de los nodos
en la estructura de los nodos ocultos. Esta nue"a alternati"a usa la aproimacin
de Nel ganador se lle"a todoO &Kinner:ta.e:all'. Esto es, slo el peso superior ms
representati"o tiene un peso de l $ todos los dems tienen peso cero.
)ara la estructura jerrquica del subcluster, introducimos las nociones del
ganador local $ ganador absoluto. El ganador local es el ganador de entre los
subnodos dentro de la misma subred. El ganador local de la subred l est
indeada por
l
s
, esto es
( )
l l l
w x max s E arg
Ln patrn se clasifica dentro de la clase j:,sima si la subred j:,sima es la
ganadora absoluta.
:lgorit!o:
(upongamos que "arios subclasificadores se usan para representar una clase
con j i
s s E
, etc, representando los ganadores locales. (upongamos que el patron
G Fm
x
debe pertenecer a la clase
i
, pero la subred j:,sima se selecciona como

la ganadora absoluta. 0uando
i
, esto es
G Fm
x se clasifica mal, entonces se
actualiza lo siguiente7
Aprendizaje reforzado7 ( )
si
m
si
m
si
w x w w E
G F G 1 F
+
+
Aprendizaje no reforzado7
( )
sj
m
sj
m
sj
w x w w E
G F G 1 F

+
,n otras palaArasE el aprendi'a(e antirrefor'ado se aplica al suAclasificado 4ue gana
localmente dentro de la suAred 4ue gana de manera aAsolutaL 9 el aprendi'a(e refor'ado
se aplica al ganador local dentro de la clase ganadora. ,sto esE estas estructuras
(err4uicas se pueden acomodar para clasificar l?mites de decisin comple(osE
actuali'ndose Mnicamente los suAlasificadores seleccionados en las suAredes.
1+
Imagen 4.2 0uAcluster 2!NNs
&.".# Redes Nero!ales de A'ro;i0a$i/!AO'ti0i<a$i/!.
#a formulacin basadas en la aproimacin se pueden "er como una
aproimacin8regresin para el conjunto de datos entrenados. #os datos para el
entrenamiento se dan en pares de entrada8maestro, que denotaremos por
[ ] [ ] [ ] { } tm xm t x T # E E...E 1 E 1 E , donde 2 es el n!mero de patrones de entrenamiento.
#os "alores deseados en los nodos de salida correspondientes a los patrones de
entrada
G Fm
x los llamaremos maestros. El objeti"o del entrenamiento de la red es
encontrar los pesos ptimos para minimizar el error entre los "alores del maestro $ las
salidas de respuesta actual. Ln criterio popular es minimizar los errores cuadrticos
medios entre el maestro $ la salida actual. )ara adquirir una capacidad de
aproimacin no lineal, se usan frecuentemente las redes multicapa, junto con el
algoritmo de 'ac/pr!pagati!n.
#a funcin que representa el modelo es funcin de las entradas $ de los pesos7
( ) w x y E , si asumimos que ha$ una !nica salida. En la formulacin bsica del
modelo de aproimacin, el procedimiento implica el encontrar los pesos que
minimizan el err!r c-adr.tic! medi! &least:squares:error' #2( como funcin de
energa7 ( ) ( ) [ ]
2
E E w x t w x $ . El "ector de pesos 0 se puede adaptar para ir
minimizando la funcin de energa a lo largo de la direccin de descenso del gradiente7
( )
( ) ( )
( )
w
w x
w x t
w
w x $
w

E
E
E

En la fase de prueba, la c,lula que gana a la salida es la c,lula que da la mima
respuesta al patrn de entrada.
&.# (odelos No S'er@isados
<a capacidad de clasificacin de la red neuronal depende del 1alor de los pesos sinpticosE 4ue
pueden ser preestaAlecidos o entrenados adaptati1amente mediante mecanismos de aprendi'a(e.
Jna clase de modelos de entrenamiento no super1isado son las redes de pesos %ijos. Jn e(emplo
son las redes de /emoria Asociati1aE 4ue se usan para oAtener patrones originales liAres de
ruido a partir de se.ales incompletas o distorsionadas. <a principal caracter?stica de las redes
asociativas de pesos %ijos es 4ue sus pesos son preestaAlecidos 9 precalculados.
<os modelos de pesos fi(os tienen aplicaciones limitadas 9a 4ue no se pueden adaptar a
HamAientes camAiantesI. ;a9 otra 1ariedad de redes no super1isadasE llamadas &edes de
'prendizaje (ompetitivoE cu9os pesos se adaptan de acuerdo con reglas de aprendi'a(e no
super1isadas. ,stas redesE pueden aprender en ausencia de un maestroE como 9a >emos
mencionado anteriormente. ,n otras palaArasE el entrenamiento se Aasa Mnicamente en la
informacin de los patrones de entradaE no necesitan la super1isin de un maestro a la salida. <a
clase de las redes de aprendi'a(e competiti1o se componeE por e(emploE de &ed de
autoorganizacin.
27
&.#.1 Re,las de e!tre!a0ie!to No S'er@isado.
)ara los modelos de entrenamiento Do (uper"isado, el conjunto de datos de
entrenamiento consiste slo en los patrones de entrada. )or lo tanto, la red es
entrenada sin el beneficio de un maestro. #a red aprende a adaptarse basada en las
eperiencias recogidas de los patrones de entrenamiento anteriores. Este es un
esquema tpico de un sistema No Supervisado7
Imagen 4.# ,ntrenamiento no 0uper1isado
Ejemplos tpicos son La "egla de prendi#a$e de %ebb6 $ la "egla de prendi#a$e
Co!petitiva.
&.#." A're!di<a=e $o0'etiti@o.
Lna red bsica de aprendi#a$e co!petitivo tiene una capa de neuronas de entrada $
una capa de neuronas de salida. Ln patrn de entrada 7 es un simple punto en el
espacio real o binario de "ectores n:dimensional. #os "alores binarios &B o 3' de
representacin local son ms usados en los nodos de salida. Esto es, ha$ tantas
neuronas de salida como n!meros de clases $ cada nodo de salida representa una
categora de patrones.
Lna red de aprendizaje competiti"o est formada por una&s' red&es' ecitadora hacia
delante $ la&s' red&es' inhibidora&s' lateral&es'. #a red hacia delante normalmente
implementa una regla de ecitacin de aprendi#a$e de %ebb. Esta regla consiste en
que cuando una neurona participa constantemente en acti"ar una neurona de salida,
la influencia de la neurona de entrada es aumentada. #a red lateral es inhibidora por
naturaleza. Esta red realiza la misin de seleccionar el ganador, normalmente por
medio de un m,todo de aprendizaje competiti"o, de entre los que podemos resear el
esquema de &inner-ta'e-all. En un circuito NKinner:ta.e:allO, la neurona de salida que
da el "alor ms alto se le asigna el "alor total &por ejemplo 3', mientras que a las
dems se le da un "alor de B. El circuito de NKinner:ta.e:allO se implementa por una
red &digital o analgica'. =tro ejemplo de una red lateral son los !apas de (ohonen.
(e deja que las neuronas de salida interactuen por medio de la red lateral, con lo que
el modelo se puede entrenar para guardar cierto orden topolgico.
#os procedimientos de clasificacin no super"isados se basan a menudo en algunas
t,cnicas de clasificacin, que forman grupos de patrones parecidos. Esta t,cnica de
clasificacin es mu$ !til para la clasificacin. Adems, juega un papel mu$ importante
en las redes de aprendizaje competiti"o. )ara un procedimiento de clasificacin, es
21
necesario definir una distancia o medida de similaridad, para e"aluar el grado de
semejanza de los patrones. Algunas de estas distancias estn en la siguiente lista, $
entre ellas la ms com!n es la distancia euclidea.
3. )roducto interno7
( )
j i j i j
T
i j i
x x x x x x x x E cos E > <
C. Distancia Euclidea con )esos7
( ) ( ) ( ) [ ]
2
E

k
j i j i
k x k x x x d
Rede& de aprendi(a)e c!mpetiti*! 1.&ica&2
(in la super"isin de ning!n maestro, las redes no super"isadas adaptan los
pesos $ "erifican los resultados !nicamente a partir de los patrones de entrada.
Ln esquema que se usa mucho para la adaptacin de los pesos es la regla de
aprendizaje competiti"o, que hace que las c,lulas compitan por el derecho a
responder por ellas mismas por un determinado tipo de entrada. Esto se puede
"er como un sistema mu$ sofisticado de clasificacin, cu$o objeti"o es di"idir un
conjunto de patrones de entrada en un n!mero de clases, tal que los patrones de
entrada en un n!mero de clases tal que los patrones de la misma clase ehiben
un cierto grado de similaridad. #as reglas de entrenamiento suelen ser la regla
de %ebb para la red de propagacin $ la regla de NKinner:ta.e:allO &1;A' para la
red lateral.
$!de#! 1.&ic! de Aprendi(a)e2
Ln sistema de este tipo consiste en redes laterales $ de propagacin hacia
delante con un n!mero fijo de nodos de salida, esto es, un n!mero fijo de clases.
#os nodos de entrada $ salida tienen "alores binarios !nicamente. 0uando $ slo
cuando los dos, la entrada ith $ la salida $th estn acti"adas
1
ij
(
J de otra
forma
( ) 1 k x
i
. Dado el "alor de los pesos sinpticos i con la salida $, Kij, $ el
estmulo .:th, una posible regla de aprendizaje es7
( )
'
1
]
1

casos otros 7
1 si solo 9 si
ij ij
k
i
ij
( w
n
k x
g
w
22
donde g es una pequea constante,
k
n
es el n!mero de unidades de entradas
acti"as del patrn ',
( ) 1 k x
i
si la seal de entrada i es alta para el patrn .:th $
en otro caso
( ) 7 k x
i
.
Reg#a& de entrenamient! 1a&ada& en pe&!& n!rma#i(ad!&2
0on el fin de asegurar un ambiente de competicin equitati"o, las sumas de
todos los pesos que "an a dar las neuronas de salida deben estar normalizados.
(i los pesos conectados a un nodo de salida j son
( ) 1 k x
i
, entonces

i
ij
w 1
( )
'
1
]
1

: estimulo el soAre pierde ( si 7
: est?mulo el soAre gana si j w
n
k x
g
w
ij
k
i
ij
Entonces, si una unidad gana la competicin, cada una de sus lneas de entrada
cede una proporcin g de su peso, $ la l distribu$e igualmente entre las lneas de
entrada acti"as.
Lna caracterstica importante de esta regla de entrenamiento es que la
normalizacin es incorporada en el momento de la actualizacin, de forma que la
suma de los pesos sinpticos a cualquier salida es 3.
Reg#a& de aprendi(a)e para 8Lea/9 Learning: +aprendi(a)e d;1i#,2
$on el fin de pre1eer la e%istencia de neuronas 4ue no aprenden en totalidadE se usa el
aprendi'a(e dAil. 8uesto 4ue una neurona slo aprende si gana en algMn momentoE es
posiAle 4ue una clula nunca ganeE 9 por lo tanto nunca aprenda. Jna forma de solucionar
este proAlema es 4ue todos los pesos de la red inter1engan en el entrenamiento con
distintos ni1eles de aprendi'a(e. ,sto se practica en la siguiente regla de aprendi'a(e
dAilB
2#
( )
( )
'
1
]
1
1
]
1

: est?mulo el soAre pierde ( si
: estimulo el soAre gana ( si
ij
k
i
w
ij
k
i
l
ij
w
n
k x
g
w
n
k x
g
w
En esta regla el parmetro
l
g
es unas rdenes de magnitud ms pequeo que
( ) 7 k x
i
. )or lo tanto, las neuronas que pierden en la competicin sufren un
aprendizaje menor que las neuronas ganadoras. Este cambio tiene la propiedad
de que las neuronas perdedoras se "an desplazando hacia la regin donde $ace
el estmulo actual, donde empiezan a capturar algunas unidades, superando a
las t,cnicas dinmicas con"encionales.
24
) (odelos de Redes Nero!ales
).1 (odelos s'er@isados
).1.1 Per$e'tro!
Jn 8erceptrn unicapa no es ms 4ue un con(unto de neuronas no unidas entre s?E de manera
4ue cada una de las entradas del sistema se conectan a cada neuronaE produciendo cada una de
ellas su salida indi1idualB Jn 8erceptrn unicapa no es ms 4ue un con(unto de neuronas no
unidas entre s?E de manera 4ue cada una de las entradas del sistema se conectan a cada neuronaE
produciendo cada una de ellas su salida indi1idualB
Imagen ".1 /odelo de 8erceptron
$omo 9a >emos dic>oE un con(unto de neuronas no sir1e para nada si pre1iamente no le ense.amos 4u
deAe >acer. en el 8erceptrn podemos utili'ar los metodos 4ue conocemosB 0uper1isadoE 8or Refuer'o 9
No 0uper1isado.
En el Aprendizaje (uper"isado se presentan al )erceptrn unas entradas con las
correspondientes salidas que queremos que aprenda. De esta manera la red
primeramente calcula la salida que da ella para esas entradas $ luego, conociendo el
error que est cometiendo, ajusta sus pesos proporcionalmente al error que ha
cometido &si la diferencia entre salida calculada $ salida deseada es nula, no se "aran
los pesos'.
En el Aprendizaje Do (uper"isado, solo se presentan al )erceptrn las entradas $,
para esas entradas, la red debe dar una salida parecida.
En el Aprendizaje )or /efuerzo se combinan los dos anteriores, $ de cuando en
cuando se presenta a la red una "aloracin global de como lo est haciendo.
).1." El Per$e'tr/! 0lti$a'a
Esta estructura naci con la intencin de dar solucin a las limitaciones del )erceptrn
clsico o unicapa, $ supuso el resurgimiento del mo"imiento coneionista. 0omo su
nombre indica, se trata de un unos cuantos &dos o tres' perceptrones unicapa
conectados en cascada, como en la imagen A.C.
,l proAlema de este tipo de 8erceptrn est en su entrenamientoE 9a 4ue es dif?cil modificar
correctamente los pesos de la capa oculta Fla capa 1 en el e(emplo anteriorG. 8ara poder >acer
aprender cosas a un 8erceptrn de este tipoE se implement el algoritmo de !ac:8ropagationE
4ue tal como su nomAre indica tiene la funcin de ir propagando los errores producidos en la
capa de salida >acia atrs.
2"
Imagen ".2 /odelo de 8erceptrn /ulticapa
Capacidad representacional
/edes con alimentacin hacia delante &no recurrentes' $ sin capas ocultas
&/osenblatt' 0ada unidad de salida es independiente de las otras $a que cada peso
afecta slo a una salida. (e puede construir cualquier multi:perceptron a partir de
perceptrones de una salida )ueden representar funciones booleanas complejas. Ej7
una funcin que detecta si ms de la mitad de sus n entradas estn a 3, se
representan con un perceptron con todos los pesos a 3 $ (lo pueden representar
funciones linealmente separables .
Ln ejemplo prctico de un )erceptrn multicapa podra ser su uso en "isin artificial.
Dada su capacidad para generalizar, las redes neuronales $a han demostrado su
importncia en este campo. El unico problema ,s la lentitud que tiene para aprender.
".1.# Adaline 9 /adaline
Este es otro de los modelos pioneros de las ADDs i el mas
simple a la hora de aproimar. se basa en el criterio del error
cuadrStico m,dio line i fu, introducido por 1idroK. ADA#%DE
sigue siendo de una sola capa como el perceptron, con la
unica diferTncia de la funcin de transferencia lineal &imagen
A.6'
El m,todo de entrenamiento que adopta este modelo ,s el de
adaaptacin a los datos i se basa en el algoritmo de
descenso del gradiente.
Imagen ".# *uncin de transferncia lineal
<2=23 'ac/pr!pagati!n

El aprendizaje con redes de neuronas se realiza actualmente siguiendo el enfoque de
la /etropropagacin de *radiente Bac'propagation $ el de los algoritmos
constructi"os. El primero necesita introducir a priori el n!mero $ coneiones de las
unidades ocultas, $ determinar los pesos por minimizacin de un costo. #a red as
obtenida es e"entualmente simplificada eliminando unidades $8o coneiones que
parecen in!tiles.
2&
El principal defecto de este enfoque consiste en la b!squeda de la mejor arquitectura a
tra",s de prueba $ error. )or otra parte, con un enfoque constructi"o se aprende al
!is!o tie!po el n!mero de unidades $ pesos, en el marco de una arquitectura que
comienza generalmente con un perceptron. #a caracterstica de estos algoritmos es
que constru$en una /D adaptada a cada problema particular, usando la informacin
contenida en el conjunto de aprendizaje $ e"itando redisear la arquitectura. El primer
algoritmo constructi"o fue el algoritmo )iling, de ah surgieron Cascade Correlation, el
algoritmo *pstart, +ffset $ ,L entre otros. -onoplan . NetLines son dos algoritmos
recientemente introducidos por el autor. De aqu en adelante, nuestra discusin ser
basada !nicamente en los m,todos constructi"os.
Lna "ez construida la red, ,sta debe ser capaz de predecir la clase de datos nue"os
que no est,n presentes en el conjunto de aprendizaje. #a calidad del algoritmo de
aprendizaje se traduce en la capacidad de prediccin de la /D. Esta calidad se mide a
tra",s del error de generali#acin, que es la proporcin de clasificaciones correctas
realizadas por la red sobre nue"os datos. Esta cantidad se mide empricamente sobre
una serie de problemas estndar &bench!ar's' que sir"en de prueba.
).1.) Otros (odelos
Dentro de los super"isados encontramos di"ersos modelos como los descritos
bre"emente a continuacin7
Time De#a9 NN7 /ed multicapa feddforKard donde las salidas de cada capa estan
retenidas durante un tiempo, conectandose todas a la "ez a la siguiente capa. #a
aplicacin donde ms se encuentran estas redes es en las tascas de reconociemeto
optico.
Pr!1a1i#i&tic NN> /ed de tres capas, que en su forma standar no entrena. El
aprendizaje se realiza similar a la red de <amming. (u ma$or "entaja ,s que no
necesita entrenamiento i la ma$or des"entaja que sus matrices son mu$ largas.
?enera#i(ed Regre&i!n NN> /ed que por lo general no necesita un entrenamiento
iterati"o , se utiliza en problemas de clasificacin o estimacin de "ariables continuas.
)." (odelo No S'er@isado
).".1 Redes de Ho'%ield
,l modelo ;opfiel consiste de una red monocapa con N neuronas cu9os 1alores de salida son
Ainarios 751 N15O1. ,n la 1ersin original del modelo 2iscrete ;opfieldE las funciones de
acti1acin de las neuronas eran del tipo escaln. 0e trataAaE por lo tantoE de una red discreta con
entradas 9 salidas AinariasL sin emAargoE posteriormente ;opfield desarroll una 1ersin
continua con entradas 9 salidas analgicas utili'ando neurnas de acti1acin tipo sigmiodal.

Lna de las caractersticas del modelo de <opfield, es que se trata de una red auto:
asociati"a. As como, "arios patrones diferentes pueden ser almacenados en la red,
como si se tratase de una memoria, durante la etapa de aprendizaje. )osteriormente,
si se presenta a la entrada alguna de las informaciones almacenadas, la red
e"oluciona hasta estabilizarse, ofreciendo entonces en la salida la informacin
almacenada, que coincide con la presentada en la entrada. (i , por el contrario, la
informacin de entrada no coincide con ninguna de las almacenadas, por estar
distorsionada o incompleta, la red e"oluciona generando como salida la mas parecida.

2)
El funcionamiento de la red <opfield se puede epresar en dos pasos7
En el instante inicial se aplica la informacin de entrada, la salida de las neuronas
coincide con la informacin aplicada a la entrada.
#a red realiza iteraciones hasta alcanzar la con"ergencia &hasta que (i&tU3' sea igual a
(i&t''.
(i&tU3'Pf & V 1ji (j&t' : Vi ' 3 W i W n

Donde f es la funcin de transferencia &acti"acin' de las neuronas de la red. En el
caso del modelo continuo eisten dos funciones de acti"acin de tipo sigmoidal. (i se
trabaja con "alores entre :3 $ U3, la funcin que se utiliza es la tangente hiperblica.
f &:Vi ' P tgh & V & :Vi ' '
(i el rango es entre B $ 3, se utiliza la misma funcin que para la red >ac.propagation.
f &:Vi ' P 38&3U e:V&:Vi''
En ambos casos, Ves un parmetro que determina la pendiente de la funcin
sigmoidal.
El proceso se repite hasta que las salidas de las neuronas permanecen si cambios
durante algunas iteraciones. En ese instante, la salida representa la informacin
almacenada por la red que mas se parece a la informacin presentada en la red.
#a red <opfield continua ofrece mas posibilidades que la discreta, $a que permite
almacenar patrones formados por "alores reales &por ejemplo, imgenes en color o en
blanco $ negro con diferentes tonalidades de gris' $ adems facilita la resolucin de
determinados problemas generales de optimizacin.
)or ejemplo, el problema del "endedor "iajero, la biparticin de grafos, el problema del
emparejamiento ponderado, en todos los casos se reduce el tiempo de resolucin.
En el caso de un reconocimiento de imgenes en una red <opfield discreta seria mas
difcil trabajar con imgenes con tonos de grises o a colores, siendo que para una red
<opfield continua es mas sencillo .
)."." Los 0a'as de Bo2o!e!
Dentro de las /DA se pueden crear dos grandes grupos en funcin del tipo de
super"isin de su aprendizaje. (i la red recibe informacin sobre si su funcionamiento
es correcto o incorrecto, basndose en alguna medida de error entre la salida de la red
$ la salida deseada, entonces estamos hablando de sistemas super"isados. (i por el
contrario la red no recibe ning!n tipo de informacin entonces hablamos de sistemas
no super"isados. En este !ltimo grupo los modelos buscan a partir de unos datos
etraer propiedades, caractersticas, relaciones, regularidades, correlaciones o
categoras eistentes en ellos. #os mapas de Mohonen que se utilizarn en este
trabajo son un tipo de red no super"isada.
Lna propiedad del cerebro es que las neuronas estn ordenadas significati"amente.
Esto implica que estructuras id,nticas en el cerebro funcionan de forma diferente
debido a su diferente topologa cerebral.
=tra propiedad bsica es la inhibicin lateral. 0uando una neurona se acti"a, ,sta
produce un estado ecitatorio en las c,lulas ms cercanas $ un efecto inhibitorio en las
ms lejanas. #a funcin que recoge este proceso de ecitacin:inhibicion en las
c,lulas tiene la forma de un sombrero meicano.
2@
Imagen "." *uncin de ,%citacinNIn>iAicin
En 34IC Mohonen &Mohonen 34IC, 344A' propuso el 9.ohonenXs Geature 2ap9, modelo
que pretenda integrar las caractersticas de los modelos biolgicos. Este nue"o
modelo consiste en una /ed Deuronal de dos capas, la primera de las cuales es una
capa de entrada $ la segunda es una 9capa de competicin9. #as c,lulas de ambas
capas estn conectadas entre s, de tal forma que una c,lula de la capa de entrada
conecta con las de la capa de competicin. Estas coneiones son ponderadas, es
decir, el estmulo ecita la capa de entrada, teniendo ambos la misma dimensin.
Imagen ".& /apa de =o>onen
/epresentaremos el estmulo mediante el "ector Ye
3
, e
C
,..., e
n
Z, siendo Yt
3
, t
C
,..., t
n
Z el
"ector que representa la salida de la capa de competicin, representando igualmente
las coneiones entre la primera capa $ la segunda mediante Ym
3
, m
C
,..., m
n
Z. De tal
forma podramos definir la salida mediante la siguiente ecuacin7
De tal forma que cada conjunto ordenado Ym
3
, m
C
,..., m
n
Z sea una imagen que
comparamos con Ye
3
, e
C
,..., e
n
Z. )or tanto, la /ed deber adaptar sus parmetros para
que cada unidad est, especialmente sensibilizada a un dominio de la seal de entrada
en orden regular.
)ara hacer esta comparacin podemos utilizar di"ersas medidas de distancia, como
por ejemplo la anteriormente utilizada en la que se utiliz el producto escalar de dos
"ectores, $ tambi,n podramos utilizar la distancia eucldea entre "ectores, de tal forma
si tenemos
entonces calcularemos
siendo la medida de distancia utili'ada.
2+
)or tanto, se trata de presentar un estmulo, el cual se propaga por la /ed
dependiendo de la funcin de distancia utilizada, $ finalmente consideraremos como
mejor c,lula &c,lula ganadora' a aquella que produzca menor seal en la capa de
competicin. #legados a este punto es necesario generalizar este proceso a estmulos
similares para lo cual empleamos una regla de aprendizaje tipo <ebb, reforzando ms
aquellas unidades que ha$an respondido en ma$or grado al estmulo,
proporcionalmente al "alor del mismo. ;odo lo cual puede epresarse mediante7
donde a&t' es una funcin de 9ol"ido9 que decrece con respecto al tiempo, $ una
funcin de umbral de salida *&'. Esta funcin es in"ersamente proporcional a la
respuesta de las c,lulas, $a que ,sta ser mima para c,lulas con una respuesta
mnima $ a la in"ersa, mnima para c,lulas con respuesta mima. )or tanto,
aplicamos la funcin * a la salida de las c,lulas de la capa de competicin para as
poder obtener una respuesta ma$or a estmulos que se aproimen ms a los
almacenados en las coneiones $ "ice"ersa.
)odemos discretizar la ecuacin anterior, para ello utilizaremos un 9"ecindario9 D
c
&(
i
'
de la c,lula c, el cual se define como el conjunto de aquellas c,lulas que est,n a
menos de una distancia (
i
de cJ dicha distancia es discreta, por lo que debemos definir
para cada c,lula una serie de conjuntos D
c
&(
3
', D
c
&(
C
', D
c
&(
6
' ....
/ediante este 1ecindario podemos definir la ordenacin topolgica de las clulas del sistemaE lo
cual e4ui1aldr?a a las cone%iones laterales del modelo de interaccin lateral. <os 1ecindarios
nos permiten definir las reglas de modificacin sinpticaE lo cual confiere a este modelo cierta
similitud con el crte% cereAral.

Del mismo modo el "ecindario nos permitira definir la funcin a de ol"ido, tanto de
forma continua como discreta, cu$o "alor disminuira con la distancia a la c,lula i, para
la que calcularemos los nue"os pesos.
Adems la funcin *&t
i
' se puede hacer igual a t
i
cuando i pertenezca a D
c
e igual a
cero en caso contrario, quedando la ecuacin anterior

para i P N
c
para i Q N
c
)odremos, por tanto, definir un espacio alrededor de la c,lula ganadora, en el cual se
incrementarn las eficacias sinpticas de las c,lulas. Dicho incremento sera igual
para todas las c,lulas del "ecindario $ no eistir dicho incremento en las c,lulas
eternas a dicho "ecindario.
#7
)ara e"itar que los estmulos que se presenten en primer lugar tengan ma$or
rele"ancia que los !ltimos presentados, el "alor a ir disminu$endo a lo largo del
tiempo, $ debe cumplir las siguientes inecuaciones7
Esto mismo se aplica al "ecindario, es decir, en un principio elegimos un "ecindario
grande $ "amos decrementndolo hasta llegar a la unidad.
(i utilizamos la distancia eucldea como medida de similaridad entre "ectores la
ecuacin sera la siguiente7
[ la actualizacin de los pesos7
para i \ Dc
siendo en caso contrario

).".# Redes 7asadas e! la teor-a de la reso!a!$ia ada'tati@a
,n los es4uemas de aprendi'a(e competiti1o no e%iste garant?a e%plicita soAre la estaAilidad de
los grupos de patrones de entrada durante el proceso de decrecimiento del factor de aprendi'a(e
en las sucesi1as iteraciones. <as redes Aasadas en la teor?a de la resonancia adaptati1a 1ienen a
solucionar este proAlema.
,n este tipo de redesE los 1ectores de pesos del elemento de procesado seleccionado como
ganador slo se actuali'an con los patrones de entrada se RresuenanR con estosE es decirE si son
Rsuficiente similaresR. 0i no son Rsuficientemente similaresR se genera un nue1o elemento de
procesado cu9os pesos son precisanmente los del patrn de entrada utili'ado. ,1identemente se
>ace necesario definir el concepto de Rsuficiente similaridadR 4ue usualemente in1olucra un
parametro de 1igilancioa 4ue lo controla.
).".& (a'as atoor,a!i<ados de 'ro'iedades
,stos /apas Autoorgani'ados son redes con entrenamiento no super1isado 4ue transforman
patrones de entrada pNdimensionales a mapas discretos 4Ndimensionales Fusualmente 4S1 o 2G
con topolog?a ordenadaE es decirE mapas en los cuales patrones de entrada pr%imos
corresponden a puntos del mapa discreto pr%imos. $ada celda del mapa de salida est
representado por un elemento de procesado 4ue lle1a asociado un 1ector de pesos pNdimensional
4ue se modifica durante el proceso de entrenamiento.
,n el proceso de entrenamiento se locali'a el me(or 1ector de pesos Fusualmente en trminos de
distancia m?nimaG para cada una de las entradas 9 se modifica para a(ustarlo a dic>a entrada
Fusualmente este a(uste se e%pande para incluir los 1ecinos topolgicos del me(or elemento de
procesado en el mapa de salidaG. $uando slo se considera el a(uste del me(or 1ector de pesosE
sin incluir sus 1ecinos topolgicosE se >aAla de redes de $uanti'acin del Tector de Aprendi'a(eE
4ue constitu9en un caso particular de los /apas Autoorgani'ados.
<os /apas autoorgani'ados se >an usado para generar mapas semnticosE reali'ar procesos de
RclusteringRE particionar grafosE etc. <as redes de $uati'acin del Tector de Aprendi'a(e se
#1
utili'an e%clusi1amente en procesos de RclusteringR 9 compresin de imgenesEdado 4ue no
conser1an la tipolog?a de las entradas.
El tipo de esquema de aprendizaje utilizado en el cual los elementos de procesado
compiten entre ellos para ganarse la actualizacin se denomina aprendizaje
competiti"o.
).".) No s'er@isados Co0'etiti@os
).".).1 Redes 7asadas e! la teor-a de la reso!a!$ia ada'tati@a
En los esquemas de aprendizaje competiti"o no eiste garanta eplicita sobre la
estabilidad de los grupos de patrones de entrada durante el proceso de decrecimiento
del factor de aprendizaje en las sucesi"as iteraciones. #as redes basadas en la teora
de la resonancia adaptati"a "ienen a solucionar este problema.
,n este tipo de redesE los 1ectores de pesos del elemento de procesado seleccionado como
ganador slo se actuali'an con los patrones de entrada se RresuenanR con estosE es decirE si son
Rsuficiente similaresR. 0i no son Rsuficientemente similaresR se genera un nue1o elemento de
procesado cu9os pesos son precisanmente los del patrn de entrada utili'ado. ,1identemente se
>ace necesario definir el concepto de Rsuficiente similaridadR 4ue usualemente in1olucra un
parametro de 1igilancioa 4ue lo controla.
#2
* A'li$a$io!es
*.1 Redes @s. (etodos $lCsi$os
,n muc>as areas donde e%isten proAlemas de prediccinE clasificacinE etcE e%isten soluciones
4ue no estan Aasadas en redes neuronales pero 4ue dan Auenos resultadosE o como m?nimo
me(ores 4ue el no >acer nada.
*rente a este tipo de proAlemasE donde 9a e%iste dic>a solucin HclsicaIE las redes pueden
aportar su alta no linealidad 9 su gran facilidad en aportar datos adicionalesE tanto numricosE
como Aorrosos 95o suA(eti1osE 4ue en tcnicas con1encionales o medelos HclsicosI no son
tenidos en consideracin. 8or lo tantoE se llega a la conclusin 4ue la utili'acin de redes
neuronales aporta soluciones ms eficientes 9 seguras 4ue las con1encionales. ,l Mnico dilema
e%istente frente a este tipo de proAlemas con una solucin clsicaE es la eleccin entre dos
modos distintos de utili'ar las redesE es decir la utili'acin tipo aG o la tipo AG.
-ipo aG 0e Aasa en construir un red donde 9a este incorporado el modelo HclsicoIEa.adir las
nue1as 1ariaAles 4ue consideremos de inters 9 efectuar el aprendi'a(e de la red de tal modo 4ue
esta solo tenga 4ue me(orar el resultado clsico con respecto al resultado deseado. 2e este modo
nos aseguramos 4ue el resultado de la red siepre sea me(or 4ue el resultado clsico. 0olo ser
igual a la resultado clsicoE en el caso 4ue las 1ariaAles adicionales no aporten nada nue1o 9 no
se necesario no utili'ar la no linealidad de la redE dos condiciones 4ue dif?cilmente se cumplen
simultneamente.
-ipo AG 0e Aasa en construir una red sin incorporar el el modelo HclsicoI pero a.adiendo todas
las 1ariaAles adicionales 4ue sean de inters. ,sto no garanti'a 4u el resultado sea superior al
HclsicoI pero la e%periencia acumulada >asta el momento demuestra 4ue siempre es superior
deAido a 4ue se utili'a la no linealidad de la red 95o las nue1as 1ariaAles. 0i en algMn proAlema
esto no fuera ciertoE siempre podemos recurrir a la incorporacin del modelo clsico en la red
Ftipo aG.
*." Ca0'os de a'li$a$i/!
<as ANNs >an sido aplicadas a un creciente numero de proAlemas con una comple(idad
consideraAleE como puede ser el reconocimiento de patronesE clasificacin de datosE
prediccionesE etc.. 0u 1enta(a ms importante est en solucionar proAlemas 4ue son demasiado
comple(os pata las tcnicas con1encionalesE como se >a e%plicado en el punto #.1.
<as aplicaciones de las ANNs aAarcan di1ersas acti1idades de mu9 diferentes campos. ,stos
sonB
K>i!a!<as
K 8rediccin de ?ndices
K 2eteccin de fraudes
K Riesgo crediticioE clasificacin
K 8rediccin de la rentaAilidad de acciones
##
Ne,o$ios
K /ar:eting
K Tenta cru'ada
K $ampanas de 1enta
Trata0ie!tos de te;to D 'ro$eso de %or0as
K Reconocimiento de caracteres impresos mecnicamente.
K Reconocimiento de grficos
K Reconocimiento de caracteres escritos a mano.
K Reconocimiento de escritura manual cursi1a.
Ali0e!ta$i/!
K Anlisis de olor i aroma
K 8erfilamiento de clientes en funcin de la compra
K 2esarrollo de productos
K $ontrol de calidad
E!er,-a
K 8rediccin del consumo elctrico
K 2istriAucin recursos >idrulicos para la produccin elctrica
K 8rediccin consumo de gas ciudad
I!dstria 0a!%a$trera
K $ontrol de procesos
K $ontrol de calidad
K $ontrol de roAots
(edi$i!a D sald
K A9uda al diagnstico
K Anlisis de imgenes
K 2esarrollo de medicamentos
K 2istriAucin de recursos
Cie!$ia e I!,e!ier-a
K Anlisis de datos i clasificacin
K Ingenier?a Qu?mica
K Ingenier?a ,lctrica
K $limatolog?a
Tra!s'ortes i $o0!i$a$io!es
E 6ptimi'acin de rutas
K 6ptimi'acin en la distriAucin de recursos
#4
*.# A'li$a$io!es
*.#.1 E=e0'lo de $o!s0o el9$tri$o
AERN CONSU$O ELECTRICO
Tip! de red2 O1)eti*! Pr!1#ema
0lasificacin $
prediccin.
A9uda al proceso de toma de decisiones en la
demanda energtica.
Determinar la cantidad de electricidad
que se consumir maana durante
cada hora del da en funcin del tipo
de da.
DATOS CONSU(O ELECTRICO.
3.:DA;=( =/%*%DA#E(
0e >an recopilado datos de 1arios a.os de los 4ue puede 1erse una Are1e muestra a continuacin en
Rele.raCR. ,n este fic>ero encontramos la fec>aE el d?a de la semana F1SlunesE ....GE 9 el consumo >orario
durante las 24 >oras.
C.:DA;=( %D)L; DE #A /ED.
)ara el aprendizaje por parte de la red neuronal los datos originales se han procesado $ se ha
creado el fichero 9ele.dat9, del que ofrecemos una muestra.
]A/%A>#E(.
Varia1#e& e#egida& para e&te e&t-di!> Varia1#e a PREDECIR>
)arametrizacin en !nicamente dos "ariables
de7 3:C5' )erfil normalizado del consumo
horario durante todo el dia.
Esta parametrizacin es hallada
automaticamente por la red.
3' 0onsumo total.
C:CA' )erfil normalizado del consumo horario
durante todo el da.
#a red debe buscar la mejor parametrizacin
&ejemplo de clasificacin', para poder utilizarla
posteriormente como prediccin &ejemplo de
prediccin'
#"
RESULTADOS.
#os resultados se encuentran en el
fichero 9ele.tes9. #as columnas 3 $ C
contienen la parametrizacin que ha
encontrado la red.
En la grafica adjunta podemos "er
esta parametrizacion obtenida por la
red. #os lunes se situan
automaticamente en la parte superior
derecha, los domingos en la inferior
izquierda, $ el resto entre ellos.
Esta parametrizacion es la utilizada
para efectuar la prediccion del
consumo horario

#&
*.#." E=e0'lo de !a tar,eta de $r9dito
AERN TARJETA DE CREDITO
0lasificacin. A$uda al proceso de toma de
decisin en la concesin de cr,ditos .
Determinar la aprobacin o no de una tarjeta
de cr,dito a un cliente de un banco.
DATOS.
3.:DA;=( =/%*%DA#E(. 2uestra del fichero de datos originales.
#os datos originales se han recopilado en un nue"o fichero. 0ada fila representa un ejemplo para
aprender. #as "ariables alfanum,ricas se han con"ertido a num,ricas incrementando el numero
total de "ariables para entrenar la red a A3.
#a red debe 9aprender9 a predecir la !ltima columna del fichero 9card.dat9 en funcin de todas las
columnas anteriores.
VARIA6LES.
)or razones de confidencialidad no se da una descripcin de
las "ariables utilizadas.
3:3A' las 3A que el banco ha considerado rele"antes. &Entre
ellas ha$ tanto "ariables num,ricas como alfanum,ricas'.
3' una "ariable binaria7 3 si se le
tiene que dar la tarjeta, B en caso
contrario.
RESULTADOS.
Despu,s de ejecutar la red los resultados se encuentran en el fichero 9card.tes9. A partir de
este fichero podemos construir la matriz de confusion $ "alorar los resultados.
6Aser1ar 4ue los elementos de la diagonal de dic>a matri' son mu9 superiores a los de fuera de la
diagonalE demostranto la cualidad de la clasificacion.
#)
#@
*.#.# E=e0'lo de $o!s0o de ,as
AERN ?AS
)rediccin. A$uda al proceso de toma de decisiones
en las pre"isiones de demanda de
energa.
Determinar la cantidad de gas que se
consumir maana en una ciudad, en
funcin del histrico de los !ltimos das
$ de las pre"isines meteorolgicas.
DATOS.
3.:DA;=( =/%*%DA#E(
0e >an recopilado datos de consumo 9 1ariaAles climatolgicas de 1arios a.os.
<a red utili'a directamente como entrada el fic>ero de datos originalesE 9 el tratamiento necesario de
los mismos se >ace dentro del programa.
2=DE#= 0#A(%0= DE )/ED%00%=D7
El estudio de la importancia de las "ariables demuestra que la temperatura es la que mas
influ$e en el consumo. )or ello se ha construido un modelo lineal para hacer pre"isiones,
que luego podr compararse con los resultados de la red.
En esta grafica podemos obser"ar la
correlacion eistente entre la
temperatura $ el consumo. El modelo
lineal de prediccon "iene descrito por
la linea roja
#+
#a pre"isin del modelo lineal se ha
comparado con nue"os datos. El
promedio del "alor absoluto del error
cometido es de un CB ^
VARIA6LES.
<istrico del 0onsumo total
)re"isin de consumo industrial para maana $
su histrico
;emperatura $ direccin del "iento pre"istas
para maana $ su histrico
0onsumo total de maana.
RESULTADOS.
Despu,s de ejecutar la red $ aplicarla sobre nue"os datos, los resultados se encuentran en el
fichero 9gas.tes9. #a primera columna es la pre"isin $ la segunda la realidad. 0omo puede
obser"arse el promedio del "alor absoluto del error cometido es solo del I^, frente al CB^ del
modelo lineal.
47
41
*.#.& E=e0'lo %i!a!$iero
AERN 'OLSA
en in"ersin financiera.
Determinar la rentabilidad de las
acciones de una empresa estudiando
ciertos factores que influ$en en el
comportamiento del ndice burstil de
los mercados de capitales.
DATOS.
3.:DA;=( =/%*%DA#E( (e han recopilado datos trimestrales de di"ersas empresas desde enero
de 34II hasta abril de 344C. Lna muestra del fichero original puede "erse a continuacin.
#os datos originales se han tratado $ recopilado en el fichero 9fuzz$.dat9, una muestra del cual
puede "erse a continuacin. 0ada fila representa el resultado de una empresa, donde se
mezclan tanto "ariables lingusticas como num,ricas. #a red debe 9aprender9 a predecir la ultima
columna del fichero 9fuzz$.dat9 &rentabilidad normalizada' en funcin de todas las columnas
anteriores.
VARIA6LES.
Varia1#e& e#egida& para e&te e&t-di!>
#ingusticas7
3' )*7 )oltica general
C' )E7 )oltica econmica
6' 0>207 clima burstil en los medios de
Dum,ricas7
A' )E/7 ultima cotizacin di"idida entre
rentabilidad del capital
H' 080]7 cotizacin sobre "alor contable
42
comunicacin
5' %>7 ndice burstil
F' %)07 ndice de precios al consumo
I' ;%7 tasa de inter,s
4' ):=7 )a$:out
Varia1#e a PREDECIR> 3' /7 /entabilidad P di"idendo ntegro U "alor
medio derechos U diferencia de cotizacin 8
cotizacin anterior.
En la graficas adjuntas podemos "er la relacion
no lineal que se obser"a en los datos entre la
/entabilidad &/' $
3' la ultima cotizacion di"idida entre rentabilidad
del capital &)E/'
C' la cotizacion sobre el "alor contable &080]'
6' el )a$:out
RESULTADOS.
Despu,s de ejecutar la red, los resultados se
encuentran en el fichero 9fuzz$.tes9. )ara
comprobar la 9bondad9 de la red deberemos
estudiar la correlacin entre la primera columna
de este fichero &rentabilidad real' con la
segunda &rentabilidad que predice la red'. Esta
correlacin puede "erse en el grfico adjunto.
&Dota7 ambas cantidades se han normalizado'.
4#
*.#.) E=e0'lo de de$isio!es de a$ta$i/! e! el 0er$ado
AERN FUTUROS FINANCIEROS
de actuacin en el mercado de futuros
sobre el bono nocional espaol.
Determinar la e"olucin del precio de
un contrato de futuro en el da de ho$
en funcin de su histrico $ su
comportamiento durante el dia de ho$
antes de efectuar la prediccion.
DATOS.
3.:DA;=( =/%*%DA#E(
(e han utilizado todas las transacciones de compra8"enta de un determinado contrato desde
Enero de 3446 hasta 2arzo de 344H. En este cuadro tenemos una muestra.
#os datos originales se han recopilado $ agrupado cada media hora.
VARIA6LES.
]olumen negociado.
E"olucin del precio durante el da de
ho$, antes de efectuar la prediccin.
]olatilidad obser"ada.
)recios promedio, en das anteriores, a
las primeras horas de la maana $ a la
hora de la prediccin.
(igno de la diferencia entre el precio a la hora
de la prediccin $ el actual.
44
RESULTADOS.
Despu,s del aprendizaje de la red, esta
es probada con ejemplos que nunca ha
"isto. #os resultados pueden
obser"arse en el fichero meff.tes, $ se
sumarizan en la grafica adjunta. En ella
podemos obser"ar beneficios anuales
proimos al ABB^ .
4"
*.& Pl@io0etria
SISTE$A E@PERTO 'ASADO EN REDES NEURONALES APLICADO A LA
PREDICCIN A CORTO PLAAO DE LA INTENSIDAD DE LLUVIA B DE LOS
NIVELES EN LA RED DE ALCANTARILLADO

*.&.1 I!trod$$i/!
Desde hace unos aos, las nue"as t,cnicas de gestin de las redes de ser"icios estn
siendo adoptadas tambi,n en la gestin de las redes de alcantarillado. #a concepcin
de las redes de alcantarillado como unas redes estticas que e"acuan aguas plu"iales
$ residuales !nicamente por gra"edad o con alg!n bombeo de a$uda esta quedando
atrs.
#as nue"as t,cnicas permiten ir mucho ms all en la tarea de e"acuacin efecti"a de
las aguas recogidas en las reas urbanas, permitiendo conseguir ms ambiciosos
objeti"os de reduccin de inundaciones, reduccin de impactos al medio ambiente de
las aguas descargadas por el sistema de saneamiento, informacin al ciudadano o
costes de las obras de infraestructura.
Estas t,cnicas basadas principalmente en integracin de tecnologas $a eistentes
requieren una infraestructura base7 los actuadores de la red. Es decir, la colocacin de
compuertas, "l"ulas, bombas, depsitos de retencin, etc., en la red de alcantarillado.
)ero para saber como actuar sobre ella, ha$ que contar con toda una serie de
medidores que permitan establecer las acciones adecuadas. As pues, ha$ que contar
con plu"imetros, limnmetros, caudalmetros, medidores de la calidad del agua, etc.
#as tecnologas informticas de computacin $ comunicaciones permitirn construir
con todo ello un sistema de telecontrol. 0on ,l, $ con los criterios de actuacin
respaldados por los modelos hidrolgicos de simulacin del comportamiento de la red
ante cualquier situacin, podremos hacer una nue"a $ efecti"a gestin del
alcantarillado.
#a anticipacin a los acontecimientos nos permitir mejores actuaciones. En concreto,
el disponer de predicciones de llu"ia o ni"el de agua en el colector a corto plazo
permitir decidir cual es la mejor operacin de la red posible.
0#A>(A, empresa que gestiona t,cnicamente el alcantarillado de la ciudad de
>arcelona, ha adoptado este enfoque de eplotacin de la red de alcantarillado.

*.&." Gestio! del al$a!tarillado i 'l@io0etria
(e espera del sistema de
alcantarillado que sea capaz de
recoger $ e"acuar toda el agua
cada en un episodio llu"ioso. )or
tanto el conocimiento de la
plu"iometra aparte de inter"enir
en las etapas de diseo de la red,
es importante en la operacin de
4&
la misma en los t,rminos mencionados en el apartado anterior, es decir en su
eplotacin acti"a.
<ar falta cuantificar la plu"iometra de la zona, discernir si podemos distinguir
distintos tipos de llu"ia por lo que se refiere a su impacto sobre el alcantarillado,
monitorizar los episodios llu"iosos cuando se producen $ intentar predecir su e"olucin
a corto plazo en funcin de lo que ha pasado hasta el momento.
<a$ pues que estudiar bien la historia plu"iom,trica de que se disponga. )ara las
tareas de monitorizacin $ pre"isin es necesario disponer de plu"imetros que
suministren en tiempo real los "ol!menes e intensidades de llu"ia al centro de control.

*.&.# O7=eti@oF La 'redi$$i/! a $orto 'la<o
El objeti"o que nos ocupa es el de intentar predecir los ni"eles de agua en los
colectors de la red a corto plazo, es decir, durante la prima media hora.
<emos abordado el problema con una herramienta, las redes neuronales, que
abstraen un modelo del funcionamiento de un sistema slo con presentarle una
determinada coleccin de entradas $ salidas del mismo.
0on este tipo de modelos, que no estn basados en las le$es fsicas que rigen el
sistema, podemos plantearnos directamente la prediccin del ni"el en un punto de la
red, dndole como entrada la e"olucin del episodio llu"ioso en curso. Do obstante
hemos preferido, en primer lugar, abordar la prediccin de la llu"ia a media hora "ista
en funcin de la media hora de llu"ia anterior. El moti"o de tal eleccin es que $a
disponemos de modelos matemticos de escorrenta del agua por la superficie $ de
transporte dentro de la red que pueden facilitarnos los ni"eles $ caudales requeridos si
le suministramos como entrada la prediccin de la llu"ia.
(e trata pues de imaginar una "ariable plu"iom,trica que indique la e"olucin de la
llu"ia como una serie temporal $ utilizar una red neuronal para predecir los primos
"alores de la "ariable en funcin de los !ltimos "alores disponibles.
)osteriormente hemos aplicado la misma operati"a para obtener predicciones del ni"el
de agua en un punto de la red en funcin de la media hora de llu"ia anterior.

*.&.& Las ANNsF U!a 2erra0ie!ta de 'redi$$i/!
El modelo 9neuronal9 de cmputo se puede definir como un sistema de proceso de
informacin no algortmico, no digital e intensamente paralelo. #as neuronas estn
interconectadas mediante un gran n!mero de enlaces balanceados por 9pesos9, que
act!an como 9filtros graduables9 de las seales de entrada para una neurona
determinada. #as coneiones $ los pesos pueden ser ecitatorias o tambi,n
inhibitorias.
#as neuronas reciben seales de entrada, que pueden ser tanto eternas 9%D)L;(9
como internas &seales que pro"ienen de salidas de otras neuronas'. Estas se
propagan hacia las siguientes neuronas conectadas, 9=L;)L;(9 o seales de
9A0;%]A0%_D9 .
En cualquier aplicacin 9neuronal9 eisten tres fases diferenciadas7 aprendizaje, test $
operacin. El proceso de aprendizaje de una red neuronal consiste simplemente en
determinar la mejor coleccin de pesos de todas las coneiones entre neuronas que
eisten en la red, para conseguir una respuesta ptima al problema, modelizacin o
proceso planteado. El test nos indicar el grado de bondad de las respuestas $ puede
4)
originar el replanteamiento de la fase de aprendizaje. #a fase de operacin consiste en
la eplotacin del conocimiento adquirido durante el aprendizaje.
)odemos utilitzar las redes neuronales para diagnosticar problemas, tomar decisiones,
predecir nue"os e"entos o para problemas de clasificacin.

*.&.) Pre'ara$i/! de los datos de ll@ia
Antes de afrontar la modelizacin de cualquier sistema con redes neuronales ha$ que
asegurarse de tener una buena cantidad de datos, tanto entradas como salidas del
sistema, para poder ensear a la red a funcionar como el sistema original. Do
sabremos si son suficientes o no hasta que "eamos los errores de aprendizaje, pero
desde luego son necesarias tanto la cantidad como la calidad de datos.
>arcelona dispone en la actualidad $ a tra",s de 0#A>(A de una red de CB
plu"imetros en su rea urbana &4.IBB <a'. Algunos estn $a operati"os desde 3.446
e integrados en su sistema de eplotacin centralizada. (e han etrado para el
estudio HCA episodios de llu"ia de los cuales se disponen registros en "arios puntos de
la ciudad.
(e ha considerado un episodio llu"ioso el periodo precedido $ seguido de 6B minutos
sin llu"ia. Estos episodios se ha discretizado en periodos de A minutos. #a "ariable
plu"iom,trica usada en el estudio ha sido la precipitacin A:minutal en mm.
De todos los registros disponibles se han eliminado los que no superan los CB l8mC
durante el episodio a efectos de no condicionar el aprendizaje de la red neuronal con
patrones de e"olucin de llu"ias menores, que son poco problemticas $ poco
importantes de predecir.
Adems se ha hecho una preclasificacin de las llu"ias en tres tipos seg!n la dificultad
de su e"acuacin. De forma mu$ sint,tica 7
-ipo AB intensidad m%ima es ele1ada 9 se llega a ella de forma Arusca Fdurante
unos 17UG
-ipo !B intensidad m%ima algo menor Fdurante unos 27?N2"UG
-ipo $B intensidad m%ima menor llegndose a ella de forma ms lenta 9
continuada
#as llu"ias ;ipo A son las ms usuales $ a su "ez problemticas en la meteorologa
mediterrnea que afecta a >arcelona. (on de origen con"ecti"o $ tambi,n son las
menos predecibles por su "ariabilidad $ brusquedad. #as llu"ias ;ipo > son mu$ poco
frecuentes $ no se disponen suficientes registros para poder construir un modelo con
redes neuronales. ;ampoco se dispone de gran cantidad de llu"ias ;ipo 0, pero
suficientes como para intentar modelarlas.
*.&.* Co!str$$i/! de ! (odelo de Predi$$i/!
(e ha utilizado Deuro(hell, softKare propio de redes neuronales, el cual nos ha
facilitado el proceso de implementacin $ el m,todo con el cual se ha trabajado.
(e ha utilizado para la construccin de la red el m,todo 9>A0M)/=)A*A;%=D:
(L)E/]%(ED
#EA/D%D*9, $a que
hace bac.trac.ing hacia
la entrada una "ez tiene
los datos a la salida.
4@
En su inicio, no se tu"ieron en cuenta los diferentes tipos de llu"ia que podan
producirse, desarrollando as un !nico modelo para todos los casos. El proceso de test
demostr que pre"iamente tendramos que hacer una clasificacin por tipos de llu"ia.
%magen H.3 2,todo de aprendizaje $ clasificacin
#a salida del proceso de clasificacin nos dar el tipo de red, con el cual cargaremos
un modelo
u otro, el cual habr pasado pre"iamente el proceso de aprendizaje.
En la prediccin de precipitacin A:minutal, la
seleccin del modelo a implementar fue
siguiendo la manera standard de crear una red
neuronal. (e cre un (#A> de entrada eterna
de seis neuronas, en el que se introducen los
datos de la llu"ia de la !ltima media hora, un
(#A> de entrada interno de seis neuronas &que
mantiene los datos de la !ltima media hora
anterior', un (#A> intermedio que sir"e para la
propagacin de las entradas, $ un (#A> de
salida de seis neuronas que nos dar los datos
en periodos A:minutales de la prediccin de los
primos 6B minutos.

%magen H.C (#A>
En el proceso de aprendizaje se hicieron iteraciones de hasta 3ABB ,pocas, pudiendo
as obtener unos pesos con un error en la salida que en la ma$ora de los casos no
superaba el 3B^ del "alor de la entrada.
#a prediccin de ni"eles de agua en el colector a tra",s de redes neuronales eigi un
tratamiento pre"io de los datos de entrada, tanto para la fase de aprendizaje como
para el test. 0onsisti en sustraer, al ni"el de agua que efecti"amente se midi en
cada periodo del episodio llu"ioso, el ni"el de agua medido en tiempo seco, es decir el
ni"el debido a las aguas residuales.
=b"iamente, para intentar esta prediccin ha$ que
contar con informacin sncrona de llu"ia $ ni"el que
ser obtenida por plu"imetros $ limnmetros
ubicados en la misma cuenca hidrolgica.
#a red seleccionada para tal prediccin ha sido una
red no recurrente de cuatro ni"eles7 H:3C:H:5.
#as colecciones de datos de los que se ha dispuesto
para el proceso de aprendizaje no han sido mu$
numerosas, tan solo F episodiosJ $ 6 para la fase de
test.

%magen H.6 /ed no recurrente
4+
*.&.+ Resltados
Antes de poder dar unos resultados aceptables, se implementaron distintos tipos de
redes con errores que superaban el error estipulado como mimo.
En la !ltima implementacin con una estructura ms estable, pudimos "er que las
grficas reales $ las estimadas empezaban a parecerse, con un error en las
aproimaciones que no superaba como se ha mencionado anteriormente al 3B^.
%magen H.5 *rafica A %magen H.A *rafica >
Esta grfica es un ejemplo de llu"ia de ;ipo A, con entrada real &trazo fino' $ salida
estimada &trazo punteado'. Apreciamos como se ajustan las cur"as en los picos, $a
que la red ha sido entrenada para detectar puntas, $ por contra la llu"ia menos intensa
no la reconoce.
En cambio, en la grfica de ;ipo 0, se obser"a que la prediccin es mejor donde no
ha$ picos, $a que los pesos utilizados se han calculado para llu"ias sua"es.

#a prediccin con red neuronal de ni"eles de agua en el colector debidos a la
plu"iometra permite obtener resultados como los que se presentan en la figura
siguiente.
El concepto de tiempo de concentracin del agua de llu"ia desde su cada hasta su
llegada al punto de medida dentro del colector , es uno de los factores que es
aprendido por la red facilitndole la prediccin.

*.&.. Ne@os O7=eti@os
Despu,s de abordar esta primera etapa de prediccin de llu"ia a mu$ corto plazo
mediante el uso de las redes neuronales, es interesante abordar nue"os intentos de
"7
prediccin siempre teniendo en cuenta la calidad $ cantidad de informacin
plu"iom,trica disponible.
#as lneas de trabajo que identificamos de ms utilidad son7
)rediccin plu"iom,trica en la ubicacin de un plu"imetro accidentalmente fuera de
ser"icio7 Apro"echando la dispersin espacial de los CB plu"imetros en una rea
reducida como la ciudad de >arcelona.
2ejorar la prediccin del ni"el del agua en un punto de la red de alcantarillado a
medida de que dispongamos de mas amplias colecciones de datos para el aprendizaje
o entrenamiento de la red.
)rediccin de la e"olucin de un episodio llu"ioso sobre la imagen del radar
meteorolgico7 2ediante la etrapolacin de las ultimas imgenes recibidas.
En todas ellas ha$ un fondo com!n $ es que la coleccin sincronizada, sistemtica $
ehausti"a de los datos proporcionados por todos los sensores que realiza un sistema
de telecontrol es bsica para poder disponer de historia suficiente para asegurar un
buen aprendizaje de las redes neuronales.
Do ha$ que ol"idar que el objeti"o real de todo es la a$uda efecti"a a la eplotacin del
alcantarillado, por tanto la fase posterior al estudio de fiabilidad es la de montar un
sistema de pre"isin de "ariables concretas realmente operati"o $ tan automatizado
como sea posible.
C232D C!nc#-&i!ne&
,n una primera apro%imacinE es dif?cil aAordar la prediccin de llu1ia a corto pla'o en funcin
de la llu1ia ca?da >asta el momentoE con una red neuronal. No Aasta con un modelo tan sencillo.
,s necesaria una preclasificacin de la llu1ia para oAtener resultados aceptaAles. ,sta
preclasificacin puede >acerse con eficacia usando tamAin redes neuronales. As? puesE un
modelo Aasado en 1arias redes neuronalesE no solo en unaE s? es 1lido para la prediccin.
#os diferentes objeti"os de prediccin aconsejan claramente usar , despu,s de
suficientes ensa$os, una topologa de red u otra. Do ha$ reglas de oro en que
podamos basarnos a priori, como menciona ampliamente la bibliografa, para discernir
que tipo de red resultar mejor. En el presente estudio, por ejemplo, las redes
recurrentes se han adaptado mejor a la prediccin de llu"ia $ las no recurrentes a la
prediccin de ni"el.
Es interesante obser"ar como los hietogramas de llu"ia se traducen en hidrogramas
de caudal o ni"el en un punto del alcantarillado. <a$ un efecto sua"izador de las
puntas de llu"ia $ un efecto de desfase temporal bastante claros. Esto fa"orece la
prediccin $ hace que la prediccin directa de ni"eles en funcin de la llu"ia reciente
sea mucho ms cmoda que la prediccin de la propia llu"ia a corto plazo.
#as redes neuronales nos proporcionan fleibilidad en la modelizacin del sistema de
prediccin, simplicidad $ eficiencia predicti"a. En definiti"a, si contamos con una buena
base de datos histrica con la que abordar las fases de aprendizaje $ test, es
aconsejable usar modelos basados en redes neuronales para predicciones a corto
plazo. (ern de mucha a$uda para la eplotacin del alcantarillado en tiempo real.

"1
+ La Te$!olo,-a e! las ANNs
+.1 Si0ladores So%tGare
0i Aien >emos >aAlado del procesamiento paralelo como una cualidad de las redes neuronales
artificialesL en la prctica se suele traAa(ar con monoprocesadoresE en ese caso no e%iste
paralelismo realE pero como en la ma9or?a de las redes simuladas no se consideran cone%iones
intracapaE se puede procesar secuencialmente >aciendo los clculos para una capaE luego la
siguienteE etc.
<o ms interesante es 4ue la propia estructura 9 modo de operar de las redes neuronales
artificiales las >ace especialmente interesantes 9 fciles de implementar implementarlas soAre
multiprocesadoresE algo 4ue puede resultar Aastante ms complicado cuando se trata de adaptar
algoritmos tradicionales soAre dic>as m4uinas.
$onociendo los fundamentos 9 los algoritmos de aprendi'a(e de las redes neuronales artificiales
9 un poco de programacinE es fcil desarrollar programas espec?ficos para simular una red
concreta en cual4uier lengua(e de programacin.
)ara uso general $ profesional resultan mu$ !tiles los paquetes con interfaces grficas
a"anzadas.
6tra tendencia es el desarrollo de liArer?as para $OO o pa4uetes matemticos como /A-<A!
/A-;,/A-I$AL son recomendaAles con fines de in1estigacin o acadmicos por ser mu9
fle%iAles para desarrollar o modificar algoritmosE son Aastante potentes 9 no e%cesi1amente
caros.
Jn sistema de programacin de procesos paralelos espec?ficamente desarrollado para simular
redes neuronales es 8# FVipserE 2.G. ,s un sistema modular 4ue funciona slo soAre una
m4uina 09mAolics #&77 en <I08. $onsta de " componentesE el computacional Funidades de
proceso elementalesGE un lengua(e de planificacin FestaAlece las cone%ionesGE un lengua(e de
mtodos Findica el comportamiento de las unidades de procesoGE un constructor Ftransforma los
mtodos 9 el plan de cone%iones en un programa e(ecutaAleGE 9 un entorno de simulacinE para
oAser1ar 9 1erificar el funcionamiento de las redes.
Aceleradores <ardKare
0on tar(etas 4ue se conectan como perifricos 9 dan soporte >ardCare para emular unidades de
proceso elementales 1irtuales 9 sus intercone%iones. 0uelen incluir softCare espec?fico para su
programacin.
$onsiguen gran aceleracin a pesar de compartir 9 multiple%ar recursosE es decirE 4ue no
ofrecen proceso paralelo real.
/ar: III 9 /ar: IT F;ec>tNNielsenE R.G pueden simular >asta @.177 unidades de proceso 9
41).777 cone%iones. 0on perifricos para m4uinas TAWE logran aceleraciones cercanas a #7%.
N,8E NetCor: ,mulation 8rocessorF$ru'NXoungE $.G. -iene la 1enta(a de permitir la cone%in
en cascada de 1arias emuladores para conseguir redes de gran tama.o. ;asta 27 o #7
actuali'aciones por segundo en una red grande. $onectaAle a un compatiAle 8$.
ANVA 9 ANVA 8lus F;etc>NNielsen NeuroN$omputing $orporationG. <a tar(eta ANVA comAina
un procesador /otorola &7@27 9 un coNprocesador de coma flotante Fel &@@@1GE consigue
computar 4".777 cone%iones por segundoL ANVA plus llega >asta 1."77.777 de cone%iones
por segundo.el c>ip 2eltaNII *loating 8oint 8rocessor F0AI$E 0cientifics Applications
International IncG . Jsa tecnolog?a especial de coma flotante para conseguir tasas de
actuali'acin de >asta 11.777.777 millones de intercone%iones por segundo. Adems permite la
cone%in en cascada de 1arios mdulos. Inclu9e un amplio 0oftCare 9 >erramientas de soporteB
"2
ensamAladorE compilador $E 9 un lengua(e espec?fico orientado a oA(etos para la especificacin
de RNA.

+." C2i's de sili$io
<a propia naturale'a paralela de la computacin neuronal >a lle1ado al desarrollo de m4uinas
espec?ficas para su implementacinB el ideal ser?a disponer de un procesador elemental para
simular cada unidad de proceso 9 de cone%iones f?sicas independientes 4ue implementaran las
cone%iones ponderadas tamAin por ;arCareL esto dar?a lugar a simuladores e%tremadamente
rpidos.
0i Aien el nMmero de elementos de una red puede >acernos pensar 4ue este ideal esta mu9
ale(ado de la tecnolog?a actualE lo sencillo de cada unidad de proceso 9 de cada cone%in es un
punto a fa1or.
,NNE ,lectronic Neural NetCor: FA-Y-GB contiene 2"& neuroNtransistores 9 ms de 177.777
sinaptoNresistores. ,l proAlema es 4ue las cone%iones 4uedan fi(adas durante la construccinE
luego el aprendi'a(e de la red deAe reali'arse pre1iamente con una m4uina con1encional. 0e
est traAa(ando para conseguir cone%iones modificaAles. 0e est usando para comprimir imgen
de 1ideo 9 transportarlo soAre l?nea telefnica en tiempo real.
6tros c>ips en desarrolloB 0ilicon Retina 9 0ilicon ,ar F/eadE $.GE como sus nomAres indican
est pensados para simular procesos de 1isin 9 o?do respecti1amente.
+.# Pro$esadores /'ti$os
#a tecnologa ptica es mu$ interesante porque ofrece unas caractersticas mu$
deseables para la computacin neuronal7 #os procesadores pticos se componen de
muchos procesadores elementales $ modo de operacin inherente paralelo.
#a tecnologa ptica ofrece las siguientes "entajas7
,l uso de la lu' permite tener muc>os canales mu9 (untos uno de otro sin producir
interferenciasE como sucede con los caAles elctricos.
8ermite cone%iones muc>o ms pe4ue.as 4ue con los caAles elctricosE con una densidad 4
1eces ma9or.
Ln ra$o de luz puede atra"esar a otro sin producir interferencias.
Actualmente se traAa(a en 1arias reas dentro del procesamiento ptico Fspatial lig>t
modulatorsE integrated optoNelectronicsE nonNlinear optical sCitc>esE p>aseNcon(ugate
resonatorsG.
"#
. I!trod$$i/! al Si0lador 1NeralGra'2i$s3
E)emp#! de &!"t0are &!1re &im-#aci!ne& de rede& ne-r!na#e&2
En este apartado eplicamos el funcionamiento del simulador de redes
&Neural,raphics/ Este simulador lo hemos conseguido despu,s de una busqueda
intensi"a por internet. (eguidamente pasamos a eplicar su funcionamiento.
0uando ejecutamos el programa aparece un men! general como se puede "er en la
%magen 4.3.
%magen 4.3
En dicho men!, se puede obser"ar, podemos elegir entre7
- 2etdos de aprendizaje7
>ac.propagation
>ac.propagation Kith maps of memor$
<$brid DetKor.
/adial >asis
Mohonen 0lassifier
0onjugate *radient
<opfield Ass 2emor$
Mohonen Demo
;ra" (alesman Demo
- ;utorial7 Es una a$uda general del programa.
- #icencia.
- Eit.
"4
0uando seleccionamos cualquier m,todo de aprendizaje, de los citados anteriormente,
entramos en un men! de similares caractersticas para7
>ac.propagation
>ac.propagation Kith maps of memor$
<$brid DetKor.
/adial >asis
Mohonen 0lassifier
0onjugate *radient
Dicho men! se muestra en la imagen 4.C.
%magen 4.C
Lna "ez dentro, nos pide que introduzcamos los siguientes datos7
3: Data Director$
Aqu introducimos el nombre del directorio donde se encuentran los ficheros de
datos.
C: Data Gile
Aqu introducimos el nombre del archi"o que queremos. #os cuales se pueden
"isualizar en la "entana adjunta.
6: Doise
Aqu introducimos el ruido que queremos.
5: Dormalize
Aqu podemos escoger entre7
Dinguno
Energ$
(tadistical
Lna "ez introducidos todos estos datos, nos aparece otra "entana en la que
introducimos datos topolgicos de la red &imagen 4.6'. Estos son7
""
%magen 4.6
3: Dumber of la$ers7 %ntroducimos n!mero de capas
C: <idden Dodes7 D!mero de nodos ocultos.
6: 1eight Gile7 %ntroducimos el archi"o donde se encuentran el "alor de los pesos.
;ambi,n tenemos la opcin de ponerlos aleatoriamente rando!.
Lna "ez introducidos todos estos datos, comienza la simulacin de la red. #a que
podemos "isualizar graficamente. Aqu tenemos un ejemplo de perceptron &imagen
4.5' con los siguientes datos7
- Data Director$7 Data
- Data Gile7 or.dat
- Doise7 B
- Dormalize7 Done
- Dumber of #a$ers7 C
- <idden Dodes7 A
- 1eight file7 r
%magen 4.5
Durante la ejecucin de la simulacin podemos acceder unos iconos que estan
situados en la parte superior de la pantalla. [ estos son7
- ;est7 Al que accedemos con la tecla ) $ en el que podemos modificar el peso de
los nodos.
"&
- #earning =n8=ff7 Al que accedemos con la tecla L $ con la que seleccionamos que
la red est, aprendiendo o no.
- (a"e7 Al que accedemos con la tecla S. (ir"e para grabar la simulacin.
- /ead7 Al que accedemos con la tecla ". (ir"e para cargar una simulacin.
- )arameters7 Al que accedemos con la letra 0. (ir"e para modificar, durante la
simulacin, ciertos parmetros como7
#earning rate
2omentum
Displa$ energ$
<ardness
Doise
- <elp7 A$uda sobre la ejecucin del programa.
=tros ejemplos diferentes son7
- Mohonen 0lassifier.
En este ejemplo los pasos a seguir son los mismos que en el ejemplo anterior.
)ero el m,todo es diferente &imagen 4.A'.
%magen 4.A
- <opfield.
")
%magen 4.H
El programa tambi,n inclu$e las siguientes demos7
3: ;ra$ (alesman Demo.
Aqu introducimos los siguientes datos7
Data Director$
Data Gile
%magen 4.F
C: Mohonen Demo.
Lna "ez dentro de la demo, al igual que en los otros simuladores, debemos introducir
los siguientes parmetros7
- Guncin de densidad7
Elegir entre7 cuadrado, triangulo $ cruz
- Dimensin de trabajode la /ed7
(eleccionamos unas dimensiones preestablecidas de la red.
- Gunciones de probabilidad7
Que utiliza el programa en los ejes e $.
"@
(eguidamente mostramos las diferencias que se obser"an en estos 6 ejemplos7
)ara los 6 ejemplos utilizamos la funcin de densidad cru# $ dimensin de trabajo de
la red 12x12. #as diferencias las obser"amos modificando las funciones de
probabilidad.
3: Guncion )robabilidad7 "ando! "ando!
%magen 4.I
C:
Guncin probabilidad7 ,ausiana ,ausiana
%magen 4.4
"+
6:
Guncin probabilidad7 Chi S3uared Chi S3uared
%magen 4.3B
C!nc#-&i!ne&2
0uando utilizamos una funcin de probabilidad "ando! podemos obser"ar que es la
que se aproima ms a la figura real, pero se sale de los lmites. (i utilizamos
,ausiana, no se sale de los lmites, pero no se aproima tanto como la "ando!. [
finalmente, con la Chi S3uared obser"amos que es la peor opcin de todas, $a que es
la que menos se aproima a la figura real.
&7
4. Co!$lsio!es
&1
El mundo tiene mucho que ganar con las redes neuronales, $a que las personas que
las utilizan ahora $ las utilizarn en el futuro son aquellas que tienen que trabajar o
analizar datos de cualquier tipo. *ente de industria, finanzas, negocios, educacin $
ciencia cu$os problemas son complejos, laboriosos, confusos o simplemente sin
solucin con los m,todos actuales. *ente que quiere mejores soluciones $ esperan
ganar un lugar estrat,gico.
0u >aAilidad para aprender mediante e(emplos las >ace mu9 fle%iAles 9 poderosas. Adems no
es necesario crear un algoritmo para lle1ar a caAo una tarea especificaE esto esE no >a9 necesidad
de entender el mecanismo interno de la tarea. ,llas estn Aien adaptadas para los sistemas de
tiempo real deAido a su capacidad de respuesta rpidaE la cual se deAe a su ar4uitectura paralela.
<as Redes neuronalesE con su notaAle >aAilidad para deducir significados de datos complicados
o imprecisos pueden ser usadas para e%traer patrones 9 detectar tendencias 4ue son demasiado
comple(as para ser comprendidas por los >umanos u otras tcnicas computacionales. Jna red
neuronal capacitada puede ser conceAida como algo 4ue algMn d?a le podremos reali'ar
preguntas como R4ue pasar?a si...R.

Qui's el aspecto ms e%citante de las redes neuronales es la posiAilidad de dotar a estas de
conciencia. ,%iste un nMmero de cient?ficos 4ue argumentan 4ue la concienciacin es una
propiedad mecnica 9 4ue la conciencia de las redes neuronales es una posiAilidad real.
Ginalmente, nos gustara afirmar que incluso las redes neuronales tienen un gran
potencial que slo obtendremos de ellas cuando las integremos al conjunto de la
%nteligencia artificial.
&2
15 6i7lio,ra%-a
*reemanE 3.A.E 0:apuraE 2./.E RNeural NetCor:sRE ,d. Addison Zesle9.
0audill, 2., >utler, 0h., 9Lnderstanding Deural DetKor.s9, 2%; )ress.
1idroK, -., /umelhart, D.E., #ehr, 2.A., 9Deural netKor.s7 Applications in industr$,
business and science9, A02 communications, ]ol:6F, 3.445.
<agan, 2artin ;, NDeural DetKor. DesignO, )1( )ublishing 0ompan$,344H.
-./. <ilera *onzlez $ ].-. 2artnez N/edes Deuronales Artificiales7 Gundamentos,
modelos $ aplicacionesO, /A:2A, 344A.
]arios, NAprendizaje AutomticoO, Edicions L)0, >arcelona, 0A;, 3445.
?<E>>54@ D.= <ebb. N;he organization of >eha"iourO -ohn 1ile$ ` sons, DeK [or.,
3454.
?2%D(H4@ 2. 2ins.$ ` (. )apert, N)erceptronsO 2%; )ress, 0ambridge, 2A, 34H4.
He7Is Sites
2tt'FAAGGG.,eo$ities.$o0ASili$o!ValleDACa0'sA4+)*ARNAJi!de;.2t0
2tt'FAAel,@a1.s$.esAKa!to!ioAr!Ate0asLr!.2t0
2tt'FAAGGG.,$.ssr.'0.esAi!@esA!eralAa!!"Aa!!ttorial.2t0l
2tt'FAA7oleti!L%2.tid.esA7ole14Aart55".2t0M7iolo,i$o
2tt'FAAGGG.d7ai.tGie!.a$.atA0ar$2i@esA
2tt'FAAGGG.e'0t.esA$raAi!%or0Ai!%o11.2t0
2tt'FAA0edia'olis.esAtet2DsA!01ACla7saJCAS.2t0
2tt'FAAGGG.e$0.7.esAaer!Ar!5.2t0
2tt'FAAde$sai.,r.esAK$astroA(CIIA!ode"5.2t0l
2tt'FAAGGG.air$e!ter.!et
2tt'FAA0oo!.i!%.=i.esAN+E=a@iA2istoriaAe!ia$.2t0
&#

2014 Introducción A Las Redes Neuronales

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

2014 Introducción A Las Redes Neuronales

Uploaded by

Copyright:

Available Formats

Introduccin a las Redes Neuronales

ESCOLA UNIVERSITRIA POLITCNICA

es una tasa de entrenamiento positi"a.

Que nos lle"a a la regla del perceptrn lineal.

F-ncin de 'a&e E#%ptica2 #a "ersin bsica de />G de las D>DD &/edes

, pero la subred j:,sima se selecciona como

You might also like