REDES NEURONALRG ¥ ALGORTEMOS GEWETICOS J. Alberto Delgado R. Profesor Asistente Departamento de Ingenierfa Fléctrica ‘Universidad Nacional de colombia aperract ‘nis paper presents the training of a neural network with a genetical algorithm. The ‘fects due to the size ot chromosomes and gens are discussed for the learning of the ROR probiea. Este articulo presenta e] entrenamiento de una red neuronal con un aigoritne genético. Se analizan los efector debidos al nimero de Gronosomae yal tamafo de los genes durante Gi aprendizaje de 1a funcion legica XOR. Loe algeritmoe genético: pusden cer una Alternativa para antrenar redes neuronales Gon funcién de activacion tipe Linitador dure Y pesos discretos. El algoritmo de propagacién inversa (BP) se ha ¢studiado (1) para una red neuronal con pesor discretos "durante al” aprendizase Ge" la funcién 16gica XOR- Fate tipo de red es consecuencia natural del desarrollo digital Visr donde lee conexiones toman Valores binarios, Los resultados experinentales (1) muestran que pare lograr 60 0 70% de convergencia, 1a Fed requiere née de 1000 niveles discretos, io cual equivale a 10 bite de almacenamiento por peso de interconexion. $i el namero. de Rivelee discretos om menor ai ‘umbral (300) ia” rea" no aprende, debido “a que im correccion en les.’ pesos no es lo, Suficientemente de Los algoritmos ‘entrenamiento. para redes Reuronales con pesos discretos, puesto que se logra el aprendizaje. con pocos niveles. En el caso de la funcicn” “legica XOR. son Suticientes cuatro niveles iecretos por Peso, 10 cual equivale @ dos bite. MEGHOMA ARETPICIAL Un modelo simple de_ la dingmica Entrada/salida (B/s) de 1a neurone natural se observa en ie figura. La salide de ecuacion, este modelo saticface 1a (EE, rw) JTBE, vol. 13, 1992 donde Sa mharo fos a, siaco wot Umbraa Si i Sonales de Entrada Mi i Pesce de cade Conexion En palabras, 1a salida de 1a neurona toma el Varbe vconstante de si cuando ja. Suna ponderada de las entradas excede el unbral Enesco contrario, y= “1: Fig.1.~ Modele £/S de 1a neurona natural. La ecuacién (1) #¢ puede escribir cone, yee, O-xD (2) donde, RED WEOROWAL [2], [3) La figura 2 multicapa, Fed ace}. red en notacién eimplificada neuronal La capa de entrada no realiza procesaniento, Simpienente recibe. ine entradas y. ias Gistribuye 2 la caps ooulta: La capa ocuita y 1a capa de calida realizan Procesamiento y. contienen neuronas como 1a ‘on la figure i de entrada y salida se conectan al exterior, mientras la capa del medio no. Por lio se denomina a esta Gitina, capa oculta Durante e entrenamiento de 1a red, los pesos Se modifican pare satiefacer ia’ relacién entradas = ealida, (Xt, %2) > (¥)~ Bn el Sprendizaje de ls funcién. légica xoR hay Chatre relsciones o patrones. 6Fig.2.- Red neuronal multicapa 2-2-1. BL peso, se interpreta como el veler de 1a conexién Gue Jiega 8 la neurons | de 1a capa 1, desde {e*neurona 5 de ia capa 1-1- Loe pesos con el indice }0 corresponden ®\ pesos umbrai, "y Sonecta 1a neurone a una entrada con valor Sonstante de =~ ALooRITMOS GEMETICOS [4], [5] Los algoritmos genéticos (AGs) se basan en 1a Becanita de la seleccién natural. Utilizan la Supervivencie de lee cadenas wejor adaptadas Bara buscar un éptine- Une aiterencias entre los _algoritmos Genéticos y otros métodos de optimizacian = toe Ace trabajan con un cédigo correspondiente a los pardmetros, no con los bardmetros. Esto ce, los pardmetroa se Sodifioan como una cadena de longitud finita sobre un alfabeto finito, > Loe AGe realizan 1a basqueda desde varios puntos det expacio y'no deade una condicion = Los AG explotan s6lamente 1a informacién Ge Ta funeion objetivo: = Loe Acs utilizan reglas de traneicién probabilfeticas. Para entrenar 1a red neuronal, el conjunto de Pesce se coditica como una ‘cadena binarts Iiamada cromosona. Cada cromosona produce un Grror sobre todos los. patrones de entrenaniento, of objetivo es minimizer este ‘ror 0 waximizar eu reciproce: La funcion de bondad a naximizar es, a ER, oad* np : Nanero de potrones JP i Salles de Sa red para cada patron + Silide aeseada de 1a rea donae, 6s EL proceso inicia con una poblacién aleatoria Ge "cadenas yee. construyen generacione: Sucesivas usande los operadores genéticos a Feproduccion y cruce. las cadenas mejores, Eagan (3), tienen mayor probabilidad de Sobrevivir’ y participar en croces- £1 eruce Conbina parte de una cadena con otra y puede foun Buenos segmentoe hallados al azar ch ia poblacign- cada _cromosoma es una cadena de bits Correspondiente a los pesos, segan (4). cada feoo ce representa en Dinavio complenento a Soe y tiene su equivalente decimal. PoP oP ePoPoPo Peel? B1 entrenamiento se realiza en funcién del tamano de ia poblacién (ndmere de cadens he) y del tanaho de loe genes (ndmero de bits er peso: nb). la Tabla 1 es 1a funciGn Légice XOR aye debe Bprender Jared neuronal de La tigura'a. Kote gi deeds valores bipotares (22,75) en iugar Tabla 1.- Se considera que no hay convergencia durante ei entrenaaiento” cuando el. namero de {teractones es mayor que diez. Cada iveracton corresponde = un recorrido por la Tabla i. La figura 3 muestra el porcentaje de convergencias como funcicn de1 nimero de Gromosomas (nc) ¥ del ninero de bite por peso (nb). Note que el nimero de aprendizajes Sumenta con el tamano de la poblacion, este G5, a mayor diversidad hay mae oportunidad de haliar el optino. 1a figura 4 presenta 21 promedio de iteraciones por convergencia coxo funcién del tamaflo do la poblacion y de lec gones- El irregular, tds posibilidad de aprendiasje. 21 punto correspondiente a diez cromosomas y Seis bits por gene produce el menor nanere Promedio de. iteraciones, Glo. indica un Fapido aprendizaje. n 1a figura 5 se observa o1 tienpe promedio Por convergencia como funcién det tamaho BS" poplacién yas lee genes: es clare, el Ticfonente en tianpo de G0 con ei aumento de iQopoblacien y devios niveles discrecos por paod feasahe Senca) SIEE, Vol. 13, 1992Porcentoje Convergencios Pcs 10 Fig.2.- Porcentaje de Convergencias como funcién del tomato de la peblacién y de los Iteraciones promedio Fig.4,~ Iteraciones promedio por convergencia gone dancin det tamano de ta poblacién y de jo genes. 4 Tiempo CPU Promedto(S) Fig-5.- Tiempo promedio por iteracién como funcién del tamaho de la poblacién y de los genes. SIRE, Vol. 13, 1992 La figura 6 corresponde a seis rea Reuronales multicapa 2-2-1 entrenadas con un Algoritne genético, 1a poblacion es de diez Sadenas y el tamehe de ‘los genes ea de dos bles” concLvsromes Se ha nostrado 1a posibilidad de entrenar una zed neuronal con ‘un algoritmo genético. La Vontaja es 1a miniizacion de ie funcion objetivo a pasar del ruido de ia superficie Ge fos pence: Gon e1 algoritup genético es posible entrenar Sa"red ‘con 4 niveles discretoe en contracte con 300 niveles cono minino para el algoritme Ge propagacién inversa (BP) Un inconveniente del algoriteo genético genes, 10 cual podria ser una limicacién para Fedes mas grande: (1) Von Lehnen, A, Pack, E-G., Liao Marrakcnt, A.) y"' Patel, 3.8.2 "Packer Influencing Learning by’ Backpropagation", TREE = IGM, Vol. I, pp. 235-341, 1988. (2) Midrow, B. y tehr Mu: "30, Years of Adaptive neural” “Networke: "” Perceperon, Madaline and Backpropagation", Proc. TERE, Wel. 78, No.3, pp. 1415-1441, Septienbre 985. (3) Lippmann, R. Pi: "An Introduction to Computing with Noural Nets", TEEE Acoustice Speech and Ginal Procecsing,” pp. 4-22, Abril [4] Coldverg, D. £1 "Genetic Algorithes in Search, Optimization and Nachine Learning’ Reading, M-A-, Addison-Wesley, 1986. {3] Wayner, P.: "Genetic Algorithme", BYTE, Pp. 36-368, Enero 1991. de 1a Universidad de los Andes y Magister en Control y Tratamiento de Sefiales de la micma Universiaaa. Actualmente e= Profesor Agistente en el Departanento, Ge, Ingenieria’ Electrica ‘de Ta Universigad Nacional de Colombia. Qo interés con las redes neurons Slgoritnos “genéticos aplicadas a la Ingenieria Eigcerics y Electronica. Direccién para correspondencia 25260 Santafé do Bogota, Colombia. o3 rrenaciones eRoMOSOMA FINAL: HHHHTORITINO! sos x Xe 08 -RoWoSOUA FIRAL = Lo1nLonoToNON 4 rreraciones 08 ROMOSOMA FINAL: NlOLOHIOIONIOIIO Fig.6.- Redes _neuronals cRowosoMA FINAL: 1010091 multicspa 2-2-1, entrenadas con un Bigoritae genético para el problens del XOR. oe TEE, VoL. 13, 1992