COGANN

Sieci neuronowe (SN) i Algorytmy Ewolucyjne (AE) Przykad
Zastosowanie algorytmw ewolucyjnych do

uczenia sieci neuronowych
Teoria i praktyka
Mateusz Lis
3 stycznia 2010
Mateusz Lis Zastosowanie algorytmw ewolucyjnych do uczenia sieci neuronowych 1/44
Plan prezentacji
1 Sieci neuronowe (SN) i Algorytmy Ewolucyjne (AE)
2 Przykad
Plan prezentacji
Klasykacja
SN i AE do tego samego zadania
SN do wspomagania AE
AE do wspomagania SN
AE do wyboru architektury SN
AE dobierajcy wagi dla SN
2 Przykad
Plan prezentacji
Klasykacja
Klasykacja
COGANN
Klasykacja pocze Przykad/sposb zasto-
sowania
AE i SN niezalenie do
tego samego zadania
jednokierunkowe sieci
neuronowe, algorytmy
genetyczne w systemach
klasykacji
SN do wspomagania AE Wybr populacji po-
cztkowej dla AE
AE do wspomagania SN analiza sieci neurono-
wych, wybr cech lub
transformacja prze-
strzeni cech, wybr
parametrw lub wybr
reguy uczenia
AE do uczenia SN ewolucja wag pocze,
ewolucja struktury sieci
Sieci czce adapta-
cyjne strtegie AE i SN
SN jako operator krzy-
owania w AE
Plan prezentacji
Klasykacja
Literatura
[3]
a
W pracy wykorzystano sie neuronow
(zwyk uczon za pomoc metody
wstecznej propagacji oraz samoorganizujc
sie Kohonena) oraz algorytm genetyczny do
realizacji tego samego problemu
Sie uzyskaa w zalenoci od wariantu do
90% skutecznoci.
Algorytm Genetyczny uzyska skuteczno na
poziomie ok 90%
Zaproponowano rwnie metod hybrydow
wykorzystujc sum dziaania algorytmw
omawianych w artykule. Uzyskano
skuteczno do 100%.
a
SCHIZAS C. N., PATTICHIS C. S., MIDDLETON L. T.
Neural Networks, genetic algorithms and K-means algorithm: In
search of data classication
Plan prezentacji
Klasykacja
SN wspomagajce AE
Literatura
[4]
a
jest jedn z niewielu prac z
takim podejciem.
Sie neuronow wykorzystano
tutaj jako generator populacji
pocztkowej oraz parametrw
dla algorytmu genetycznego.
a
Kadaba N., Nygard K. E. Improving the
performance of genetic algorithms using automated
discovery of parameters.
Plan prezentacji
Klasykacja
AE wspomagajce SN
Literatura
Mona wyrni trzy rodzaje prac na
ten temat
zastosowanie AE do ekstrakcji
cech
a
,
zastosowanie AE do wyboru
reguy uczenia lub parametrw
sterujcych uczeniem,
wyjanianie dziaania SN:
AE wykorzystywano do
znalezienia wektorw kodowych,
(wektor kodowy, ang. codebook
vector - wzorzec wejcia
maksymalizujcy wartoci
funkcji aktywacji wychodzcej
z danego neuronu.
a
Guo Z. Uhrig R. E. Using genetic algorithms
to select inputs for neural networks
Plan prezentacji
Klasykacja
Informacje podstawowe
Dobr architektury
Najbardziej intuicyjne
rozwizanie,
zadanie optymalizacji
charakteryzujce si
trudn do wyobraenia
przestrzeni fazow:
przestrzeni moliwych
architektur,
rzadko jednak bierze
si pod uwag funkcj
aktywacji jako element
architektury.
Wybr topologii SN
z wykorzystaniem AE
Wybr topologii SN
Example (Kodowanie)
Macierz incydencji:
C =
_
_
_
_
_
_
_
_
0 0 1 1 0
0 0 1 1 0
0 0 0 0 1
0 0 0 0 1
0 0 0 0 0
_
_
_
_
_
_
_
_
Chromosom:
[0011000110000010000100000]
Plan prezentacji
Klasykacja
Typowy schemat postpowania
Sposb postpowania
1 Wygeneruj populacj pocztkow.
2 Zakoduj chromosomy .
3 Oblicz cakowity bd
redniokwadratowy dla kadej z
sieci.
4 Oblicz warto funkcji
przystosowania.
5 Jeli speniony jest warunek stopu
id do 9, jeli nie id do 6.
6 Dokonaj selekcji.
7 Zastosuj operatory genetyczne.
8 Id do 2.
9 Stop.
Plan prezentacji
2 Przykad
Problem werykacji podpisu
Wprowadzenie
Kodowanie
Operatory
Selekcja
Krzyowanie
Mutacja
Dziaanie na przykadzie operacji XOR
Plan prezentacji
2 Przykad
Wprowadzenie
Kodowanie
Operatory
Selekcja
Krzyowanie
Mutacja
Denicja problemu
czyli o co waciwie chodzi?
Przypadek uycia #1
Uytkownik
System
Wybiera
nazwisko
Skada
podpis
Werykuje
podpis
Denicja problemu 2
Przypadek uycia #2
Uytkownik
System
Skada
pewn
ilo
podpisw
Uczy si
podpisu
Prezentacja aplikacji
zabawa w faszerza
Zadanie
Podrobi podpis widoczny na obrazie
Prezentacja aplikacji
zabawa w faszerza
Zadanie
Podrobi podpis widoczny na obrazie
Wyniki bada
Podejcie pierwsze
Example (Eksperyment #1)
Dugoc cigu uczcego: 40 (20 oryginalnych podpisw i
20 prb faszerstwa),
dugo cigu testowego: 10 (5 oryginalnych i 5
faszerstw),
pomiar powtrzono wielokrotnie,
wyniki:
75% prawdziwych podpisw zwerykowano waciwie,
10% prb faszerstwa byo udane.
Wyniki bada
Podejcie pierwsze
20 prb faszerstwa),
faszerstw),
wyniki:
Wyniki bada
Podejcie pierwsze
20 prb faszerstwa),
faszerstw),
wyniki:
Wyniki bada
Podejcie pierwsze
20 prb faszerstwa),
faszerstw),
wyniki:
Wyniki bada
Podejcie drugie
Dugoc cigu uczcego: 130 (10 oryginalnych podpisw,
20 prb faszerstwa i 100 losowo wybranych podpisw),
faszerstw),
wyniki:
Wyniki bada
Podejcie drugie
faszerstw),
wyniki:
Wyniki bada
Podejcie drugie
faszerstw),
wyniki:
Wyniki bada
Podejcie drugie
faszerstw),
wyniki:
Plan prezentacji
2 Przykad
Wprowadzenie
Kodowanie
Operatory
Selekcja
Krzyowanie
Mutacja
Formalny opis
Zadanie rozpoznawania
Denicja
Zadanie rozpoznawania deniowane jest jako:
d = ((f ))
gdzie:
d {0, 1} - podpis zosta zaklasykowany jako
prawdziwy lub nie,
f F - macierz danych z tabletu (nacisk oraz pozycja
pirka w czasie),
: F X - algorytm ekstrakcji cech,
x X - wektor cech,
: X {0, 1} - algorytm rozpoznawania.
Zadanie rozpoznawania a sie neuronowa
z wykadu...
Zadanie rozpoznawania
Jednym z moliwych sposobw deniowania (x) jest podanie
tzw. funkcji klasykujcych (g
1
i g
2
):
(x) =
_
1 jeeli g
2
(x) g
1
(x) > 0
0 w przeciwnym wypadku
W rozpatrywanym przypadku:
g
1
(x) =
1
2
, g
2
(x) = y
Przy czym naley zaoy, i rozpatrywana siec neuronowa ma
tylko jedno wyjcie (y).
Sie neuronowa
klasycznie...
.
.
.
.
.
.
.
.
.

Sie neuronowa
schemat podobny do tych znanych z TULu
x
(1)
x
(2)
. . .
x
(k)
1
w
1,1
w
1,2
. . .
w
1,k
w
1,0
w
2,1
w
2,2
. . .
w
2,k
w
h,k
. . .
w
h,2
w
h,1
w
2,0
w
h,0
s
(1)
s
(2)
s
(h)
v
(1)
v
(2)
v
(h)
v
(1)
v
(2)
. . .
v
(h)
1
w
h+1,1
w
h+1,2
...
w
h+1,h
w
h+1,0
w
h+2,1
w
h+2,2
...
w
h+2,h
w
h+r ,k
...
w
h+r ,2
w
h+r ,1
w
h+2,0
w
h+r ,0
s
(h+1)
s
(h+2)
s
(h+r )
y
(1)
y
(2)
y
(r )
Podstawowe oznaczenia
Oznaczenia warstwy I
wektor wejciowy:
x =
_
_
1
x
(1)
x
(2)
.
.
.
x
(k)
_
_
w
ij
- wagi neuronw,
wektor sum:
s
1
=
_
_
s
(1)
s
(2)
.
.
.
s
(h)
_
_
funkcja aktywacji (x) =
1
e
x
+1
(gdzie - parametr dobrany przez
eksperta)
: R
h
R
h
taka, e:
(s) =
_
_
(s
(1)
)
(s
(2)
)
.
.
.
(s
(h)
)
_
_
v - wektor wyjc z wartwy I:
v =
_
_
v
(1)
v
(2)
.
.
.
v
(k)
_
_
= (s)
Plan prezentacji
2 Przykad
Wprowadzenie
Kodowanie
Operatory
Selekcja
Krzyowanie
Mutacja
Wagi neuronw
Wiadomo, e:
s
1
=
_
_
s
(1)
s
(2)
.
.
.
s
(h)
_
_
=
_
k
i =1
(x
(i )
w
1,i
)
k
i =1
(x
(i )
w
2,i
)
.
.
.
k
i =1
(x
(i )
w
h,i
)
_
_
niech:
W
1
=
_
_
w
1,0
w
1,1
. . . w
1,k
w
2,0
w
2,1
. . . w
2,k
.
.
.
.
.
.
.
.
.
.
.
.
w
h,0
w
h,1
. . . w
h,k
_
_
Wagi neuronw
Wiadomo, e:
s
1
=
_
_
s
(1)
s
(2)
.
.
.
s
(h)
_
_
=
_
k
i =1
(x
(i )
w
1,i
)
k
i =1
(x
(i )
w
2,i
)
.
.
.
k
i =1
(x
(i )
w
h,i
)
_
_
niech:
W
1
=
_
_
w
1,0
w
1,1
. . . w
1,k
w
2,0
w
2,1
. . . w
2,k
.
.
.
.
.
.
.
.
.
.
.
.
w
h,0
w
h,1
. . . w
h,k
_
_
Macierzowa interpretacja wag
wtedy:
s = W
1
x
wobec tego wyjcie warstwy I:
v = (W
1
x)
analogicznie mona wprowadzi:
W
2
=
_
_
w
h+1,0
w
h+1,1
. . . w
h+1,h
w
h+2,0
w
h+2,1
. . . w
h+2,h
.
.
.
.
.
.
.
.
.
.
.
.
w
h+r ,0
w
h+r ,1
. . . w
h+r ,h
_
_
wtedy:
s = W
1
x
v = (W
1
x)
W
2
=
_
_
w
h+1,0
w
h+1,1
. . . w
h+1,h
w
h+2,0
w
h+2,1
. . . w
h+2,h
.
.
.
.
.
.
.
.
.
.
.
.
w
h+r ,0
w
h+r ,1
. . . w
h+r ,h
_
_
wtedy:
s = W
1
x
v = (W
1
x)
W
2
=
_
_
w
h+1,0
w
h+1,1
. . . w
h+1,h
w
h+2,0
w
h+2,1
. . . w
h+2,h
.
.
.
.
.
.
.
.
.
.
.
.
w
h+r ,0
w
h+r ,1
. . . w
h+r ,h
_
_
Sposb kodowania
Wniosek
Wyjcie z sieci neuronowej przyjmuje posta:
y = (W
2
(W
1
x))
kodowanie
chromosomem sieci neuronowej jest zestaw macierzy W
1
i W
2
Oznaczenie
Wagi dla j -tego osobnika populacji bd oznaczane przez W
j
1
i
W
j
2
, wektor wyjciowy za y
j
.
Sposb kodowania
Wniosek
y = (W
2
(W
1
x))
kodowanie
1
i W
2
Oznaczenie
j
1
i
W
j
2
j
.
Sposb kodowania
Wniosek
y = (W
2
(W
1
x))
kodowanie
1
i W
2
Oznaczenie
j
1
i
W
j
2
j
.
Sposb kodowania
Wniosek
y = (W
2
(W
1
x))
kodowanie
1
i W
2
Oznaczenie
j
1
i
W
j
2
j
.
Plan prezentacji
2 Przykad
Wprowadzenie
Kodowanie
Operatory
Selekcja
Krzyowanie
Mutacja
Selekcja
czyli metoda ruletki
Naley wprowadzi funkcj przystosowania dla j -tego osobnika:
v
j
=
1
Q
j
L
l =1
1
Q
l
gdzie:
Q
j
wartoc kwadratowego kryterium jakoci dla j -tego
osobnika
r
i =1
(y
(i )
j
y
(i )
)
2
L - iloc osobnikw w populacji.
Natpnie zastosowa metod ruletki.
Operator Krzyowania
Krzyowanie
_
_
w
10
w
11
. . .
w
20
w
21
. . .
.
.
.
.
.
.
.
.
.
_
_
_
_
w
10
w
11
. . .
w
20
w
21
. . .
.
.
.
.
.
.
.
.
.
_
_
Operator Krzyowania
Krzyowanie
_
_
w
10
w
11
. . .
w
20
w
21
. . .
.
.
.
.
.
.
.
.
.
_
_
_
_
w
10
w
11
. . .
w
20
w
21
. . .
.
.
.
.
.
.
.
.
.
_
_
Operator Krzyowania
Krzyowanie
_
_
w
10
w
11
. . .
w
20
w
21
. . .
.
.
.
.
.
.
.
.
.
_
_
_
_
w
10
w
11
. . .
w
20
w
21
. . .
.
.
.
.
.
.
.
.
.
_
_
Operator Krzyowania
Krzyowanie
_
_
w
10
w
11
. . .
w
20
w
21
. . .
.
.
.
.
.
.
.
.
.
_
_
_
_
w
10
w
11
. . .
w
20
w
21
. . .
.
.
.
.
.
.
.
.
.
_
_
Operator Krzyowania
Krzyowanie
_
_
w
10
w
11
. . .
w
20
w
21
. . .
.
.
.
.
.
.
.
.
.
_
_
_
_
w
10
w
11
. . .
w
20
w
21
. . .
.
.
.
.
.
.
.
.
.
_
_
Operator Krzyowania
Krzyowanie
_
_
w
10
w
11
. . .
w
20
w
21
. . .
.
.
.
.
.
.
.
.
.
_
_
_
_
w
10
w
11
. . .
w
20
w
21
. . .
.
.
.
.
.
.
.
.
.
_
_
Operator mutacji
Dane: populacja chromosomw, M
max
Parametry:
G
[0, 1] - globalny wspczynnik mutacji,
L
[0, 1] - lokalny wspczynnik mutacji.
Dziaanie operatora mutacji
1 Dla kadego chromosomu w populacji wylosuj liczb
g
z
przedziau [0, 1].
2 Jeeli
g
<
G
to id do 3, w przeciwnym wypadku jeli
s jeszcze chromosomy id do 1, jeli nie id do 5.
3 Dla kadej wagi z macierzy W
1
oraz W
2
wylosuj liczb
l
.
4 Jeli
l
<
L
to zmie warto wagi o losow liczb z
przedziau [M
max
, M
max
], w przeciwnym wypadku jeli
s jeszcze chromosomy id do 1, jeli nie id do 5. .
5 Koniec.
Plan prezentacji
2 Przykad
Wprowadzenie
Kodowanie
Operatory
Selekcja
Krzyowanie
Mutacja
Operacja logiczna XOR
Cig uczcy:
S
4
= {(0, 0; 0), (0, 1; 1), (1, 0; 1); (1, 1; 0)}
Uczenie badano dla dwch funkcji aktywacji:
1 dla funkcji logistycznej opisywanej wczeniej,
2 dla funkcji perceptronowej:
y(s) =
_
1 jeeli s > 0
0 w przeciwnym wypadku
Funkcja logistyczna
0.2
0.4
0.6
0.8
1
1.2
1.4
1.6
0 500 1000 1500 2000 2500 3000
Q

d
l
a

n
a
j
l
e
p
s
z
e
g
o

o
s
o
b
n
i
k
a
iteracje
Rozmiar populacji a uczenie sieci neuronowej
10
20
50
100
Funkcja perceptronowa
To, czego nie da si zrobi algorytmem wstecznej propagacji
0
0.5
1
1.5
2
0 10 20 30 40 50 60 70 80 90 100
Q

d
l
a

n
a
j
l
e
p
s
z
e
g
o

o
s
o
b
n
i
k
a
iteracje
Rozmiar populacji a uczenie sieci perceptronowej
10
20
50
100
Bibliograa
ON - LINE signature verication using pen-tablet
DOBOSZ K. LIS M. PINTAL . Information Systems Architecture and
Technology: system analysis in decision aided problems ISAT 2009,
Szklarska Porba, s. 175-184.
Sieci neuronowe, algorytmy genetyczne i systemy rozmyte
RUTKOWSKA, M. PILISKI, L. RUTKOWSKI, Wyd. Naukowe PWN, Warszawa,
1997.
Neural Networks, genetic algorithms and K-means algorithm: In search of data
classication
SCHIZAS C. N., PATTICHIS C. S., MIDDLETON L. T., Proceedings of
International workshop on Combination of Genetic Algorithms and
Neural Networks COGANN-92
Improving the performance of genetic algorithms using automated discovery of
parameters.
KADABA N. NYGARD K. E. Proceedings of seventh Conference on Machine
learning. San Mateo CA: Morgan Kaufmannn 1990
Using genetic algorithms to select inputs for neural networks.
GUO Z. UHRIG R. E. Combinations of Genetic Algorithms and Neural
Networks, 1992., COGANN-92.
Pytania ?
Mateusz Lis
mateusz.lis@sppi.pl

COGANN

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

COGANN

Uploaded by

Copyright:

Available Formats

Sieci neuronowe (SN) i Algorytmy Ewolucyjne (AE) Przykad

Zastosowanie algorytmw ewolucyjnych do

Mateusz Lis Zastosowanie algorytmw ewolucyjnych do uczenia sieci neuronowych 28/44

You might also like