1.

Wyznacz sum waon dla neuronu na rysunku

Suma waona ( ) jest sum iloczynw sygnaw wejciowych i przypisanych do nich wag, czyli: = 1, dlatego powyszy wzr w tym przypadku mona uproci do = + + = = + +

Jednak warto

Przykad: =1 = 1 =1 = 0.4 = 0.8 = 0.7 = 1 0.4 1 0.8 + 1 0.7 = 0.4 0.8 + 0.7 = 0.3

2. Majc dany zbir wag, wyznacz lini klasyfikacji neuronu. Aby wyznaczy lini klasyfikacyjn neuronu, naley podstawi dane do wzoru = Czyli np. = 0.8, 0.8 0.4 = 0.8, 0.8 =2 0.4 = 0.4 =

2 1

3. Wytrenuj pojedycz komrk nerwow, dla wartoci zadanych poniej

1 2 3 4

1 1 1 1

1 1 1 1

1 1 1 1

1 1 1 1

Bdziemy to robi w tabelce takiej, jak ta poniej Iteracja Warunek

Wpierw wybieramy zerowy wektor wag, tzn. = 0, 0, 0 , wybieramy pierwsz par trenujc z tabeli dot. treci zadania czyli odpowiednie i . Nastpnie wyznaczamy iloczyn wartoci wektorw i . Gdy obliczymy ten iloczyn sprawdzamy czy poniszy warunek jest prawdziwy >0

=1

<0

= (1) = 0,

Jeeli tak, nie zmieniamy wektora wag, natomiast jeeli jest niespeniony to: = 0,0,0 +
( )

lub w przypadku gdy 1 0 1 + 0 (1) + 0 (1) = 0

I 1.

111

Warunek NIE

0 0 0 + (1) 1 1 1 = 1 1 1

Wybieramy kolejn par trenujc i ponawiamy sprawdzanie.

I 1. 2.

1 1 1 1 1 1 1 1 1

0,0,0

111 111 111 111

1 1 1 1

3. 4.

0 1 + 0 (1) + 0 (1) = 0 (1) 1 + 1 (1) + 1 + 1 = 1 (1) 1 + 1 1 + 1 (1) = 1 (1) 1 + 1 1 +11=1

Warunek NIE TAK

0 0 0 + (1) 1 1 1 = 1 1 1 Bez zmian

TAK TAK

Bez zmian Bez zmian

Poniewa nie wiemy czy nasz wektor wag pasuje do wszystkich przypadkw, musimy powtrzy obliczenia dla tych, w ktrych mielimy inny (czyli iteracj 1.) I 1. 2. 0,0,0 111 111 111 111 111 1 1 1 1 1 0 1 + 0 (1) + 0 (1) = 0 (1) 1 + 1 (1) + 1 + 1 = 1 (1) 1 + 1 1 + 1 (1) = 1 (1) 1 + 1 1 +11=1 (1) 1 + 1 (1) + 1 (1) = 3 Warunek NIE TAK 0 0 0 + (1) 1 1 1 = 1 1 1 Bez zmian

1 1 1 1 1 1 1 1 1 1 1 1

3. 4. 5.

TAK TAK Tak

Bez zmian Bez zmian Bez zmian

Nasz wektor 1 1 1 pasuje do wszystkich wektorw wektorw wejsciowych uzyskalimy dla nich poprawn klasyfikacj.

1 2 3 4

1 1 1 1

1 1 1 1

1 1 1 1

1 1 1 1

4. 000 111 111 1 1 0 0 0 0 + (1) 1 1 1 = 1 1 1 1+1 1 1 1 + 111 2 = = 1 1 1 + 1 1 1 = 002 1+1 002 + 111 = 2 111 Bez zmian Bez zmian Bez zmian Bez zmian

1. 2.

Nie Nie

1 1 1

3.

002 111 111 111 111

111 111

1 1 1 1

4. 5. 6. 7.

1 1 1] 111 111

01+0 1+2 1 = 2 1+1+1 =3 111 = 1 11+1 =1 1+11 =1

(1) 1 + 1 (1) +1+1 = 1

Nie

Tak Tak Tak Tak

4. Majc dan struktur sieci, wykonaj propagacj w przd.

Warto wag:
,

= 1,

= 2,

= 3,

= 2, = 1,

= 4,

= 5,

= 4,

= 2,

=3

Funkcja sigmoidalna unipolarna Warto funkcji aktywacji dla =0

Dla funkcji sigmoidalnej unipolarnej, warto funkcji aktywacji obliczamy wg wzoru

( )= Natomiast dla funkcji sigmoidalnej bipolarnej: ( )= 1 1+

( ) ( )

1 1+

Propagacja w przd polega na obliczeniu sum waonych i funkcji aktywacji dla wszystkich komrek. Zaczynajc wic od =
, ,

mamy +
,

( )= Dla
,

1 1+

1+

1 1+ 20.0855
,

=11+21+30=1+2=3 =

1 1 = = 0.9526 1 + 0.0498 1.0498

otrzymujemy =
,

( )=

1 1+

1+

= 2 1 + 4 1 + 5 0 = 2 + 4 = 2 1 = 1 = 0.8808 1.1353

A dla

+ , + , = 4 1 + 2 0.9526 + 3 0.8808 = 4 + 1.9052 + 2.6424 = 4 + 4.5476 = 0.5476 ( )= 1+ 1

.

1 2 3 4 5

3 2 0.5476

( ) 1 0 0.9526 0.8808 0.6336

1 = 0.6336 1.5783

5. Majc dan warto wyjciow neuronu = ( ) wyznacz pochodne funkcji aktywacji w zalenoci od tego czy funkcja sigmoidalna jest uni- czy bipolarna Jeeli funkcja jest unipolarna, warto jej pochodnej liczymy ze wzoru ( )= Natomiast jeeli jest bipolarna, wedug 5 (1 )

1 ( ) = (1 2 Dla wartoci z zadania 4. otrzymujemy wyniki

( ) = 0.6336 (1 0.6336) = 0.6336 0.3664 = 0.2322 ( ) = 0.8808 (1 0.8808) = 0.8808 0.1192 = 0.1050 ( ) = 0.9526 (1 0.9526) = 0.9526 0.0474 = 0.0451 6. Majc dane wartoci z propagacji w przd, wyznacz delt i przeprowad propagacj wstecz. Zadanie to jest podobne do zadania 5 te potrzebujemy wartoci pochodnych, ktrych uywamy do wyliczenia delty, a potem przeprowadzi propagacj wstecz. =( ) ( ) - wzr na delt dla komrek warstwy wyjciowej
,

Komrka 5 jest z warstwy wyjciowej, 3 i 4 - z warstwy poredniej. Warto dla zadanych wartoci. =( ) = =

( ) - wzr na delt dla komrek warstwy poredniej odczytujemy z tabeli

( ) = (1 0.6336) 0.2322 = 0.3664 0.2322 = 0.0851

, ,

( ) = 3 0.0851 0.1050 = 0.0268 ( ) = 2 0.0851 0.0451 = 0.0077

Gdy mamy obliczone , moemy uaktualni wagi, poczynajc od wyjcia, korzystajc ze wzoru:
,

, gdzie =
, , ,

to wielko zwikszenia wartoci kroku, w tym przypadku +

,

= 4 + 0.2 0.0851 1 = 4 + 0.0170 = 3.9830 + = 5 + 0.2 0.0268 0 = 5

= 2 + 0.2 0.0851 0.9526 = 2.0162

= 3 + 0.2 0.0851 0.8808 = 3.0150

= 0.2

=
,

=
, ,

= 2 + 0.2 0.268 1 = 1.995 = 3 + 0.2 0.0077 0 = 3

= 4 + 0.2 0.0268 1 = 4.0054

=
,

= 2 + 0.2 0.0077 1 = 2.0015 6

= 1 + 0.2 0.0077 1 = 1.0015

Wzrost sygnau przy tym wzorze, jest z reguy do powolny (aby to sprawdzi naleaoby jeszcze raz wykona propagacj w przd), dlatego te mona zastosowa metod momentum polega ona na dodaniu do aktualizowanych wag czci ich poprzedniego przyrostu (wyraonej przez wspczynnik , praktycznie wynoszcy = 0.9)
,

Przydatne wzory: Suma waona =

Linia klasyfikacji neuronu 2 = Modyfikacja wektora wag dla = 1 lub

Modyfikacja wektora wag dla = 0

Unipolarna skokowa (progowa) funkcja aktywacji ( ) =

= 1

= 1 0

+ 0 <0

( )

Bipolarna skokowa (progowa) funkcja aktywacji - ( ) = Unipolarna sigmoidalna funkcja aktywacji ( ) = Bipolarna sigmoidalna funkcja aktywacji ( ) = Pochodna funkcji sigmoidalnej unipolarnej Pochodna funkcji sigmoidalnej bipolarnej Wspczynnik Wspczynnik

1 0 1

>0 =0 <0

( )=

( )=

dla komrek warstwy wyjciowej dla komrek warstwy poredniej

,

Uaktualnienie wag

=
,

=(

(1

) ) ( )
,

( )

Uaktualnienie wag z metod momentum

Autor: shenlon (http://shenlon.pl) 7