Zastosowanie Informatyki W Medycynie

zastosowania informatyki w medycynie
Strona 1 z 27
ZASTOSOWANIA INFORMATYKI W MEDYCYNIE

wykady
Jacek Lewiski Spoeczna Wysza Szkoa Przedsibiorczoci i Zarzdzania w odzi Studia II letnie magisterskie uzupeniajce Semestr II Grupa projektowa nr 8 index 50564
jaceklewinski@gmail.com
Strona 2 z 27
SPIS TRECI
Wstp.................................................................................................................................................... 3 1. Sie neuronowa ................................................................................................................................. 3 2. Inteligencja obliczeniowa .................................................................................................................. 5 3. Sztuczne sieci neuronowe .................................................................................................................. 6 4. Zastosowanie metod sztucznej inteligencji ........................................................................................ 8 5. System rozmyty ................................................................................................................................. 9 6. Systemy ekspertowe .......................................................................................................................... 9 7. Sieci neuronowe - algorytm uczenia ................................................................................................ 13 8. Algorytmy genetyczne - ewolucyjne ................................................................................................ 15 9. Inteligentne systemy hybrydowe ..................................................................................................... 17 10. Sieci oparte na radialnych funkcjach bazowych RBF .................................................................... 20 11. Podsumowanie............................................................................................................................... 24 Przypisy .............................................................................................................................................. 26 Bibliografia ......................................................................................................................................... 27
Strona 3 z 27
Wstp
W latach pidziesitych XX wieku, w wyniku rozwoju techniki komputerowej oraz pojawienia si nowych idei w jzykoznawstwie (Chomsky), uksztatowaa si dziedzina bada oparta na idei tak zwanych mylcych maszyn. Dziedzin t okrela si mianem Sztucznej Inteligencji. Mona rozrni dwa wymiary Sztucznej Inteligencji: operacyjny i ideologiczny. Wymiar operacyjny odnosi si do dziaa majcych na celu praktyczne i teoretyczne korzyci, wynikajce z prowadzonych bada. W tym aspekcie Sztuczna Inteligencja odnosi sukcesy i moe znacznie poszerzy zakres ludzkich moliwoci poznawczych, przyczyniajc si tym do rozwizania wielu trudnych problemw (chociaby tych, ktre wi si z wykonywaniem skomplikowanych operacji medycznych). Badania nad sztuczn inteligencj1 mog budzi wtpliwoci tylko w przypadku, gdy nadaje si im cel ideologiczny, gdy cele poznawcze i praktyczne ustpuj miejsca pragnieniu stworzenia artefaktu, ktry pewnymi sprawnociami mgby nie tylko przypomina ywe stworzenia, ale nawet przewyszy czowieka pod wzgldem zdolnoci intelektualnych.
1. Sie neuronowa
Przez sztuczn sie neuronow rozumiemy Zbir prostych jednostek obliczeniowych przetwarzajcych dane, komunikujcych si ze sob i pracujcych rwnolegle lub inaczej zbir poczonych ze sob jednostek wejciwo-wyjciowych. Z kadym poczeniem skojarzona jest waga, ktra moe zosta zmieniona w trakcie uczenia. Dowolna sztuczna sie neuronowa moe by zdefiniowana poprzez okrelenie: modelu sztucznego neuronu, topologii, reguy uczenia sieci. Inspiracj do tego typu sieci sta si neuron biologiczny.
Rys 1. Neuron biologiczny

Strona 4 z 27
znaczenie bony komrkowej w przesyaniu sygnau polega na propagacji zaburzenia rnicy potencjaw pomidzy wntrzem a zewntrzem komrki, przyczyn tych zaburze jest chwilowa utrata szczelnoci przez bon komrkow zasada dziaania: wpywajce dendrytami bodce (modulacja czstotliwoci) sumuj si (oddziaywaj ze sob) na bonie komrkowej i przy pomocy aksonu zakoczonego synaps/synapsami przekazywane s do innego neuronu/neuronw po propagacji sygnau rnica potencjaw odbudowywana jest przez tzw. pompy jonowe neuronw mamy ~1010, dendrytw ~1014..1015 rne rodzaje neuronw
Rys 2. Neuron biologiczny wraz ze skadowymi
Naukowcy porwnuj nasz mzg do hierarchicznego procesora
Rys 3. Czci mzgu i obszary odpowiedzialnoci
zastosowania informatyki w medycynie Oglnie rozrnia si dwa typy architektur sztucznych sieci neuronowych
Strona 5 z 27
sieci jednokierunkowe (ang. feedforwarded) tj. sieci o jednym kierunku przepywu sygnaw; Szczeglnym przypadkiem architektury jednokierunkowej jest sie warstwowa, reprezentujca zdecydowanie najpopularniejsz topologi;
Rys 4. Model jednowarstwowej sieci neuronowej
Inne, np. sieci rekurencyjne (feedback, bidirectional) tj. sieci ze sprzeniami zwrotnymi (sie Hopfielda) albo sieci uczenia si przez wspzawodnictwo (Kohonena). Zasady czenia neuronw midzy sob kady z kadym, poczenia midzy kolejnymi warstwami w sieciach warstwowych, tylko z pewn grup neuronw, najczciej z tzw. ssiedztwem.
2. Inteligencja obliczeniowa
Prbujc zdefiniowa pojcie inteligencji obliczeniowej ju na samym pocztku napotykamy wiele problemw. Ot okazuje si, e tyle ile ksiek, tyle znajdujemy definicji inteligencji obliczeniowej. Inteligencja obliczeniowa (computational intelligence, CI) obejmuje obecnie wiele dziedzin, ktre rozwiny si bardzo szybko w ostatnich dziesicioleciach. Inspiracje biologiczne dotyczce funkcjonowania ukadu nerwowego przyczyniy si do powstania sieci neuronowych, teoria ewolucji i genetyka zainspirowaa powstanie algorytmw ewolucyjnych, obserwacje etnologiczne doprowadziy do algorytmw rojowych i mrwkowych, a immunologia do powstania algorytmw wzorowanych na dziaaniu ukadu odpornociowego. Psychologia i lingwistyka przyczyniy si do powstania teorii logicznych, uwzgldniajcych niepewno i nieprecyzyjne okrelenie informacji, takich jak logika rozmyta, logika przybliona czy teoria posybilistyczna. Teorie wychodzce poza logik dwuwartociow mona okreli jako mikkie obliczeniowo, dopuszczajce stopniowanie wartoci. Trudno jest znale dobry polski
zastosowania informatyki w medycynie odpowiednik oddajcy ide
Strona 6 z 27
soft computing, gdy nie jest ona jasno zdefiniowana rwnie w jzyku
angielskim. Tworzenie nowych dziedzin na podstawie wyboru metod, ktre maj wej w zakres danej dziedziny, nie jest szczliwym pomysem. Na jakiej podstawie mamy np. zaliczy algorytmy genetyczne do mikkiego obliczania, odrzucajc metod stopniowego studzenia, stosowan do rozwizywania tych samych zagadnie? Dziay nauki (oraz wikszo dziaw matematyki) definiuje si okrelajc problemy, jakimi si dana dziedzina zajmuje. Informatyka zajmuje si badaniem wasnoci algorytmw. Problemy obliczeniowe, ktre nie daj si efektywnie zalgorytmizowa wymagaj szczeglnego podejcia. Inteligencja obliczeniowa zajmuje si teori i metodami rozwizywania problemw, ktre nie s efektywnie algorytmizowalne. Z takimi problemami organizmy biologiczne maj do czynienia na co dzie. Niektre z tych problemw daj si rozwiza dziki zdolnoci do adaptacji, czy to za pomoc powolnych mechanizmw ewolucji, czy te mechanizmw uczenia si ukadu immunologicznego lub nerwowego. Przeycie organizmu w warunkach konkurencji wymaga kategoryzacji sygnaw dochodzcych ze zmysw, rozpoznawania obiektw i kontroli wasnego organizmu. Pami semantyczna i wysze czynnoci poznawcze, zwizane ze zdolnoci do rozumowania, planowania, tworzenia teorii i posugiwania si jzykiem, oparte s na wykorzystaniu reprezentacji symbolicznych. Cz inteligencji obliczeniowej, zajmujcej si t problematyk, nazywa si sztuczn inteligencj (AI). Od czasu neopozytywizmu utrwalio si przekonanie o niezalenoci i uniwersalnoci procesw mylowych od ich realizacji sprztowej, czyli procesw zachodzcych w mzgu. Przekonanie to stao si podstaw funkcjonalizmu a pniej kognitywizmu, ktry gosi, e fizykalny system symboliczny wystarczy do modelowania umysu (Newell 1981). W ten sposb sztuczna inteligencja wesza w skad nauk kognitywnych, zmierzajcych do zrozumienia sposobu dziaania ukadw poznawczych, w tym ludzkich umysw.
3. Sztuczne sieci neuronowe

Sieci neuronowe s obecnie bardzo obszern dziedzin, majca oprcz rozbudowanej teorii uczenia zastosowania zarwno do modelowania realnych ukadw biologicznych, jak i zastosowania czysto praktyczne, w zagadnieniach aproksymacji i klasyfikacji. Pocztkowo inspiracj byo tworzenie modeli imitujcych ukady biologiczne; perceptron wzorowany by na konstrukcji oka. Jednake wkrtce okazao si, e ukady neuronowe mog si przyda w zastosowaniach technicznych, dziki swojej zdolnoci do adaptacji. W latach 1960 znano ju wiele nieliniowych metod aproksymacji opartych na funkcjach bazowych, takich jak klasyfikatory Gaussowskie czy klasyfikatory oparte na funkcjach potencjalnych. Aproksymacja w oparciu o funkcje sklejane lub eksponencjalne bya powszechnie stosowana w fizyce i innych gaziach nauki. Znalezienie dobrych parametrw w ukadach nieliniowych byo jednak trudnym zadaniem. Po okresie entuzjazmu trwajcego od koca lat 1950 przez ca dekad okazao si, e proste sieci neuronowe maj spore ograniczenia. Minsky i Papert przedstawili w ksice Perceptrons (Minsky i Papert 1969) dokadn analiz jednowarstwowych perceptronw, znajdujc szereg trudnych problemw, ktrych nie dao si za pomoc takich ukadw rozwiza. Niektre z nich, np. problem spjnoci grafu, s nadal
Strona 7 z 27
poza zasigiem perceptronw wielowarstwowych, chocia mona je rozwiza za pomoc sieci wysyajcych impulsy, w ktrych pojawia si synchronizacja (Wang, 2000). Praca Hopfielda z 1982 roku pokazaa, jak bardzo prosty ukad dynamiczny w postaci sieci elementw bipolarnych realizuje funkcje pamici skojarzeniowej (Hopfielda, 1982). Wywoao to duy wzrost zainteresowania takimi ukadami wrd fizykw (np. ksika Hertz, Krough, Palmer 1993) i psychologw. Praca Rumelharta, Hintona i Williamsa (1986) zapocztkowaa z kolei szybki rozwj zastosowa algorytmu wstecznej propagacji do analizy danych. Inspiracje nadeszy wic ze strony psychologw (wszyscy trzej autorzy s psychologami). Nawet fizycy patrzyli na sieci neuronowe jak na magiczne urzdzenia wyobraajc sobie, e zamiast interpolacji zachodz w nich jakie tajemne procesy poznawcze (przykady s np. w pracy Duch, Diercksen 1994). Z rozwojem sieci neuronowych wizano ogromne nadzieje, na konferencje specjalistyczne przyjedao tysice osb. W tej atmosferze odkrywanie zwizkw z teori aproksymacji, prawdopodobiestwa, statystyk i metodami rozpoznawania wzorcw, ktre rozpoczo si ju przy kocu lat 1980, trwao do dugo. Jako wielkie odkrycie potraktowano np. zastosowanie radialnych funkcji bazowych do aproksymacji (czyli wprowadzenie sieci RBF), sprowadzajce si w praktyce do klasyfikatorw i aproksymatorw Gaussowskich, znanych od ponad 20 lat. Do tej pory panuje tendencja by nazywa wszystkie sieci, korzystajce z funkcji bazowych, nie majcych nic wsplnego z funkcjami radialnymi, sieciami typu RBF. Nadzieje na szybkie powstanie systemw mylcych, dysponujcych ogln inteligencj, wykorzystujcych sieci neuronowe i algorytmy ewolucyjne, nie sprawdziy si midzy innymi z powodu nadmiernego skoncentrowania si na rozpoznawaniu wzorcw i zagadnieniach optymalizacji. Co nowego wniosy metody inteligencji obliczeniowej w tym zakresie? W porwnaniu z wieloma innymi metodami klasyfikacji, aproksymacji i klasteryzacji rezultaty nie byy pocztkowo nadzwyczajne (por. np. projekt Statlog, Michie i inn. 1994). Wrd 22 metod uytych w tym projekcie sieci MLP nie znalazy si ani razu, a sieci RBF znalazy si tylko raz w pierwszej trjce najlepszych metod. Samoorganizujce si mapy Kohonena okazay si wyjtkowo zymi klasyfikatorami, a wizualizacja przez nie oferowana nie oddaje relacji pomidzy opisywanymi obiektami czy ich skupieniami (Duch, Naud 1996). Od tego czasu rozwj teorii regularyzacji i wyboru modeli pozwoli na znaczne ulepszenie wynikw. Pewn nowoci s algorytmy konstruktywistyczne, lub bardziej oglne algorytmy ontogeniczne, dostosowujce swoj zoono do analizowanych danych, zwikszajce i zmniejszajce liczb elementw przetwarzajcych sieci zalenie od potrzeb. Okazao si, e sieciowa organizacja oblicze jest czsto bardzo wygodna i nazw sieci neuronowe zaczto stosowa do wszelkiego rodzaju algorytmw, w ktrych przepyw oblicze przedstawi mona w postaci wzw sieci. Kad sum zwiza mona z elementem sieci zbierajcym dochodzce do niego informacje i przetwarzajcym je za pomoc jakiej funkcji bazowej. Prowadzi to do cakiem oglnych modeli graficznych (Jordan i Sejnowski, 2001), stanowic pomost z popularnymi w statystyce sieciami Bayesowskimi. Z drugiej strony bardzo rozwiny si czerpice inspiracje z prac nad perceptronami metody SVM (Support Vector Machines, np. Vapnik 1998). Trudno traktowa je jako sieci neuronowe, chocia
zastosowania informatyki w medycynie problematyk sieci neuronowych.
Strona 8 z 27
wikszo prac na ten temat pojawia si w pismach i na konferencjach zajmujcych si wanie Sieci neuronowe stay si niezwykle popularne, stworzono bardzo wiele programw komputerowych implementujce rne sieciowe algorytmy, co spowodowao lawin zastosowa. W efekcie poszukuje si raczej zastosowa do istniejcych narzdzi, ni narzdzi przydatnych do rozwizywania konkretnych problemw. Algorytmy genetyczne stay si dla metod inteligencji obliczeniowe dominujc, niemale jedyn metod optymalizacji globalnej.
4. Zastosowanie metod sztucznej inteligencji

Sztuczna inteligencja otwiera nam cay szeroki wachlarz zastosowa w wielu dziedzinach nauki i ycia. Jednym z najszerszych obecnie obszarw gdzie doskonale si sprawdza s systemy biometryczne stosowane do identyfikacji osobowej. Systemy te s obecnie jednym z najszybciej rozwijajcych si dziaw informatyki na wiecie. Kontrola biometryczna oparta jest na specyficznych cechach organizmu, ktre s charakterystyczne dla kadego czowieka. W chwili obecnej najpopularniejsze techniki biometryczne mona podzieli na nastpujce grupy: - systemy oparte o rozpoznawanie linii papilarnych, - systemy oparte o rozpoznawanie geometrii twarzy, - systemy oparte o rozpoznawanie mowy, - systemy oparte o rozpoznawanie cech charakterystycznych tczwki oka. Aktualnie dostpne s nowe systemy: - oparte o rozpoznawanie DNA, - oparte o rozpoznawanie obrazu y, - oparte o rozpoznawanie dna oka. Oglne zasady biometryki opieraj si na zapisywaniu w pamici komputera okrelonego i niepowtarzalnego wzoru wybranej cechy, przechowywaniu tej informacji, a nastpnie dopasowaniu okrelonej cechy podczas procesu weryfikacji w oparciu o zapisany wzorzec. Identyfikacja polega wic na automatycznym rozpoznaniu nieznanej osoby poprzez badanie jednej lub kilku jej cech biometrycznych. System porwnuje aktualny obraz zapisany przez odpowiednie urzdzenie z wzorcami zapisanymi w scentralizowanej bazie danych. Liczone jest prawdopodobiestwo przyporzdkowane kademu obrazowi. Jeli przekracza ono ustalon warto krytyczn, system uznaje, e nieznana osoba zostaa zidentyfikowana. Jeli kilka obrazw przekracza ow warto, przyjmuje si najbardziej prawdopodobny obraz za prawdziwy. Systemy rozpoznajce geometri twarzy s najbardziej naturalnymi sposobami identyfikacji biometrycznej. Technologia rozpoznawania twarzy obecnie jest rozwijana w dwch kierunkach: pomiaru twarzy i tzw. metody eigenface (waciwych twarzy). Technologia pomiaru twarzy polega na pomiarze specyficznych cech twarzy i relacji pomidzy tymi pomiarami. Punkty pomiarowe pokazano na rys. 1.
Strona 9 z 27
Rys 5. Przykad punktw pomiarowych twarzy Metoda eigenface polega na porwnywaniu uzyskanego obrazu z gotowymi wzorcami umieszczonymi w pamici. Jest podobna do metody stosowanej w kryminalistyce czyli portretw pamiciowych. Technologia identyfikacji opierajcej si na eigenface jest w pocztkowym stadium rozwoju i jest bardzo obiecujca.
5. System rozmyty
Celem wprowadzenia pojcia i teorii zbiorw rozmytych bya potrzeba matematycznego opisania tych zjawisk i poj, ktre maja charakter wieloznaczny i nieprecyzyjny. W teorii tej moemy mwi o czciowej przynalenoci punktu do rozwaanego zbioru. Zamiast zdaniami przyjmujcymi wartoci prawda lub fasz posugujemy si zmiennymi lingwistycznymi, ktre przyjmuj jako wartoci nieprecyzyjne pojcia jzyka mwionego. Tak jak co co jest szare nie jest do koca ani biae ani czarne, lub co co jest ciepe nie jest ani gorce ani zimne. Dziki temu moliwe jest opisywanie takich cech obiektw jak: bardzo, troch, rednio, mao, niezawiele. Na systemy rozmyte skadaj si te techniki i metody, ktre su do obrazowania informacji nieprecyzyjnych, nieokrelonych bd niekonkretnych. Pozwalaj one opisywa zjawiska o charakterze wieloznacznym, ktrych nie jest w stanie uj teoria klasyczna i logika dwuwartociowa. Charakteryzuj si tym, e wiedza jest przetwarzana w postaci symbolicznej i zapisywana w postaci rozmytych regu. Systemy rozmyte znajduj zastosowanie tam, gdzie nie posiadamy wystarczajcej wiedzy o modelu matematycznym rzdzcym danym zjawiskiem oraz tam gdzie odtworzenie tego modelu staje si nieopacalne lub nawet niemoliwe. Tak wic moemy je spotka w bazach danych, sterowaniu oraz dziedzinach zajmujcych si przetwarzaniem jzyka naturalnego.
6. Systemy ekspertowe
System ekspertowy, nazywany rwnie automatycznym systemem wspomagania decyzji to program lub zestaw programw komputerowych wspomagajcy korzystanie z wiedzy i uatwiajcy podejmowanie
zastosowania informatyki w medycynie mog dostarcza rad, zalece i diagnoz dotyczcych problemw tej dziedziny. Kategorie systemw ekspertowych:
Strona 10 z 27
decyzji. Systemy ekspertowe mog wspomaga lub zastpowa ludzkich ekspertw w danej dziedzinie,
Systemy doradcze doradzaj przy podejmowaniu decyzji. Czowiek ma moliwo weryfikacji podjtej decyzji, odrzucenia jej i zadania alternatywnej. Systemy w ktrych czowiek jest ostatecznym ogniwem podejmowania decyzji. Systemy podejmujce decyzje bez kontroli czowieka systemy autonomiczne w ktrych maszyna/program podejmuje ostateczn decyzj bez udziau czowieka. Systemy krytykujce znajc problem jak i jego rozwizanie (wynik) system pokazuje jak rozwizanie osignito (metodologi rozwizania).
Budowa systemw ekspertowych: Baza wiedzy np. zbir regu - Jest integraln, podstawow i niezbdn czci systemu ekspertowego, zawiera cakowit wiedz systemu zapisan najczciej w postaci regu. Zebrana wiedza jest podstaw przeprowadzenia procesu wnioskowania. Baza danych/baza faktw (np. dane o obiekcie, wyniki pomiarw, hipotezy) - Jest integraln czci systemu ekspertowego, zawiera zbir informacji (zbir danych) stanowicych wartoci przesanek regu, na podstawie ktrych mechanizm wnioskujcy przeprowadza proces wnioskowania. Maszyna wnioskujca - Narzdzie potrafice zinterpretowa zapisane reguy i dokona procesu wnioskowania - czyli wykorzystania wiedzy zapisanej w bazie wiedzy i dostpnych faktw pochodzcych z bazy faktw. Mechanizm wyjaniajcy - objaniaj strategi wnioskowania. Interfejs uytkownika - procedury wejcia/wyjcia umoliwiaj formuowanie zada przez uytkownika i przekazywanie rozwizania przez program. Edytor bazy wiedzy - procedury umoliwiajce rozszerzanie oraz modyfikacj wiedzy pozyskiwanie wiedzy.
Strona 11 z 27
Rys 6. Uproszczony schemat systemu ekspertowego Podzia systemw ekspertowych ze wzgldu na budow programu. Systemy dedykowane - tworzone wsplnie przez inyniera wiedzy, eksperta i informatyka do rozwizywania konkretnych problemw. Systemy szkieletowe (shells) - oglne systemy dostpne na rynku w postaci programw z pust baz wiedzy. Wiedza wprowadzana jest do niech bezporednio przez ekspertw. Podzia systemw ekspertowych ze wzgldu rdo wiedzy. Na bazie wiedzy eksperta - wiedza wydobywana jest na podstawie obserwacji bd wywiadw, ankiet z ekspertem. Na bazie dostpnych danych historycznych - Majc dostp do zgromadzonych danych, czyli wynikw dziaania eksperta w warunkach produkcyjnych, moliwe jest automatyczne pozyskanie wiedzy. Podzia systemw ekspertowych ze wzgldu na sposb reprezentacji wiedzy. Logika boolowska {0, 1} Logika wielowartociowa (np. ukasiewicza) Logika rozmyta Podzia systemw ekspertowych ze wzgldu na rodzaj przetwarzanej informacji. Systemy z wiedz pewn, czyli zdeterminowan, Systemy z wiedz niepewn, w przetwarzaniu ktrej wykorzystuje si przede wszystkim aparat probabilistyczny
Strona 12 z 27
Projektowanie systemu ekspertowego. Okrelenie dziedziny problemu o Dokadne zdefiniowanie klasy problemw ktre system ma rozwizywa o Zdefiniowanie wymaga systemu o Okrelenie sposobu pozyskania wiedzy
Budowa bazy wiedzy:
Rys 7. Budowa bazy wiedzy
Baza wiedzy: Konstrukcja waciwej bazy wiedzy jest podstaw poprawnego funkcjonowania systemu ekspertowego. Wymaga ona wyboru odpowiednich faktw z dziedziny dziaania systemu, uniknicia bdw i wyboru odpowiedniej struktury dla tych faktw. Podczas tworzenia bazy wiedzy naley odpowiedzie sobie na nastpujce pytania: o Jakie obiekty naley zdefiniowa? o Jakie s relacje midzy obiektami? o Jak naley formuowa i przetwarza reguy? o Czy pod wzgldem rozwizania specyficznego problemu baza wiedzy jest kompletna i spjna Identyfikacja - okrelenie charakterystyki problemu do rozwizania (ekspert i inynier wiedzy okrelaj problem do rozwizania i jego zakres - ponadto okrelaj potrzebne rodki); Reprezentacja - znalezienie sposobu reprezentacji wiedzy (przeprowadzana jest analiza problemu, bardzo istotne jest przeprowadzenie jej w gruntowny sposb, co niweluje wystpowanie trudnoci w pniejszym czasie. Gdy problem jest ju zrozumiay naley przystpi do ustalenia informacji oraz danych potrzebnych do jego rozwizania a nastpnie zacz je kompletowa);
Strona 13 z 27
Formalizacja - zaprojektowanie struktur organizujcych wiedzy (przeoenie kluczowych koncepcji, regu i relacji na jzyk formalny. Inynier wiedzy powinien zaprojektowa syntaktyk i semantyk tego jzyka, a nastpnie wraz z ekspertem ustali wszystkie podstawowe pojcia i relacje, ktre s niezbdne do rozwizania postawionego problemu); Implementacja - sformuowanie regu lub ram zawierajcych wiedz (inynier wiedzy czy i reorganizuje sformalizowan wiedz tak, aby staa si zgodna z charakterystyk przepywu informacji danego problemu. Powstay zestaw regu lub ram i powizana z nimi struktura kontrolna tworzy prototypowy program); Testowanie - sprawdzenie zastosowanych w systemie regu lub ram (reguy i relacje s sprawdzane pod ktem generowania przez nie odpowiedzi zgodnych z wymaganiami eksperta.).
7. Sieci neuronowe - algorytm uczenia

Dysponujemy wieloma algorytmami uczenia si sieci opartymi na zasadzie wstecznej propagacji bdw. Podstawowe to: gd algorytm najmniejszego spadku, wagi i bias jest uaktualniany w kierunku ujemnego wektora gradientu funkcji bdu, moe by uywany w przyrostowej metodzie uczenia, gdm zmodyfikowany algorytmy gd, krok opadania modyfikowany jest o wspczynnik momentum, pozwalajcy sieci unikn puapek utknicia w minimum lokalnym, moe by uywany w przyrostowej metodzie uczenia, gdx adaptacyjny algorytm szybkoci uczenia; moe by uywany tylko we wsadowej metodzie uczenia, rp elastyczny algorytm wstecznej propagacji bdu jest mao czuy na ustawienia parametrw uczenia, dobrze sprawdzajcy si przy funkcjach sigmoidalnych, cgf (Fletcher-Reeves) wykorzystuje algorytmy gradientw sprzonych zazwyczaj duo szybsze ni algorytmy ze zmiennym wspczynnikiem uczenia, wyborem dla sieci o duej liczbie wag, cgp (Polak-Ribiere) inna wersja algorytmw gradientw sprzonych, podobnie jak poprzedni wymaga liniowego przeszukiwania w kadej iteracji, cgb (Powell-Beale) - wersja algorytmw gradientw sprzonych wykorzystujca niestandardow metod zmiany kierunku poszukiwania odpowiedniej wartoci gradientu, scg skalowalny algorytm gradientw sprzonych nie wykorzystujcy metody liniowego przeszukiwania w kadej iteracji, ale kombinowan metod algorytmu Levenberga-Marquardta i zbienoci gradientw sprzonych, bfg metoda BFGS quasi-Newtona wymaga zastosowania macierzy hesjana i wicej oblicze w kadej iteracji w porwnaniu z metod gradientw sprzonych,
algorytmy gradientw sprzonych
wymagaj niewiele wicej pamici w porwnaniu z prostszymi algorytmami, s czsto dobrym
Strona 14 z 27
oss jednokrokowa metoda sieczna, kompromisowa pomidzy metodami gradientw sprzonych i quasi-Newtona, lm algorytm Levenberga-Marquardta, wyposaony w funkcj redukcji pamici przy duych zbiorach uczcych, br regularyzacja bayesowska, zmodyfikowany algorytm Levenberga-Marquardta, stworzony w celu tworzenia sieci o lepszych wasnociach uoglniania, posiadajcy procedury optymalizacji liczby parametrw sieci. Ze wzgldu na ograniczon wielko opracowania zajm si tylko podstawowym algorytmem wstecznej propagacji bdu. Nazwa "wsteczna propagacja" pochodzi od sposobu obliczania bdw w poszczeglnych warstwach sieci. Najpierw obliczane s bdy w warstwie ostatniej (na podstawie sygnaw wyjciowych i wzorcowych. Bd dla neuronw w dowolnej warstwie wczeniejszej obliczany jest jako pewna funkcja bdw neuronw warstwy poprzedzajcej. Sygna bdu rozprzestrzenia si od warstwy ostatniej, a do warstwy wejciowej, a wic wstecz. Algorytm wstecznej propagacji - BP (ang. BackPropagation) okrela strategi doboru wag w sieci wielowarstwowej przy wykorzystaniu gradientowych metod optymalizacji. Trenowanie sieci jest w rzeczywistoci numeryczn procedur optymalizacji okrelonej funkcji celu. Algorytm naley do tzw. metod gradientowych, ktre wykorzystuj prawidowo: gradient funkcji wskazuje kierunek jej najszybszego wzrostu; w przypadku zmiany znakw skadowych na przeciwne, czyli pomnoeniu przez -1, kierunek jej najszybszego spadku. Waciwo ta pozwala na minimalizacj funkcji celu przez modyfikacj jej zmiennych, a w przypadku sieci - wspczynnikw wagowych, w kierunku najszybszego spadku funkcji. Funkcja celu
1 N ( yk d k ) 2 2k1 w przypadku wielu par (x(j), d(j)) E (W ) E (W ) 1 2

p N ( ( yk j ) d k( j ) ) 2 j 1 k 1
Wektor wag aktualizowany jest przy wykorzystaniu informacji o gradiencie funkcji celu.
E [ E / w1 , E / w2 ,....... E / wr ]
W kadym kroku uczenia wyznaczany jest tzw. kierunek minimalizacji p(w) warto, o jak bd zmieniane wagi. A tak wyglda wspczynnik uczenia.
p( w) w(k 1)
E ( w) w(k )
p( w(k ))
Strona 15 z 27
8. Algorytmy genetyczne - ewolucyjne

Sztuczne sieci neuronowe, algorytmy genetyczne i sztuczne systemy immunologiczne reprezentuj grup metod i technik, ktre w pewnym stopniu s symulacj rozwiza stworzonych przez natur. Algorytm genetyczny operuje na zakodowanej czci informacji. Gen jako potencjalna cecha dla systemw biometrycznych jest to potencjalny bit w algorytmach genetycznych. Chromosom to binarny cig kodowy skadajcy si z zer i jedynek. Kady pojedynczy bit jest odpowiednikiem pojedynczego genu. Ze wzgldu na sposb uoenia genw w chromosomie mona wyrni trzy podstawowe sposoby kodowania: klasyczne geny s heterogeniczne, czyli geny na rnych pozycjach przechowuj rne informacje. Stosuje si je wtedy, gdy mamy okrelone niejednorodne cechy osobnika i chcemy dobra im optymalne wartoci. permutacyjne geny s homogeniczne, czyli przechowuj podobne informacje i s wymienialne. Tego typu kodowanie stosuje si do rozwizywania problemw kombinatorycznych. drzewiaste chromosom nie jest liniowym cigiem genw, ale zoon struktur drzewiast. Kodowanie drzewiaste znajduje zastosowanie w tzw. programowaniu genetycznym, czyli wszdzie tam, gdzie ewolucji podlegaj reguy matematyczne Genotyp jest to zbir (struktura) jednego lub wicej chromosomw. Genotyp moe by ju pojedynczym osobnikiem danej populacji. Fenotyp wystpuje w przyrodzie po interakcji ze rodowiskiem. Inaczej fenotyp to zbir parametrw, rozwizanie, punkt. Algorytmy genetyczne (AG) s to algorytmy poszukiwania oparte na mechanizmach doboru naturalnego oraz dziedzicznoci. Algorytm genetyczny zawiera w sobie elementy teorii ewolucji Darwina, ktra zakada, e przeywaj tylko najlepiej przystosowane osobniki. W kadym pokoleniu powstaje nowy zesp sztucznych organizmw (cigw bitowych), utworzonych z poczenia fragmentw najlepiej przystosowanych osobnikw poprzedniego pokolenia. AG wykorzystuj efektywnie przesze dowiadczenia do okrelania nowego obszaru poszukiwa o spodziewanej podwyszonej wydajnoci. Populacja jest to pewien zbir osobnikw. Kady algorytm genetyczny rozpoczyna dziaanie od pocztkowej populacji cigw kodowych, po czym generuje kolejne populacje cigw. Najczciej populacj pocztkow dla AG wybiera si drog losow. W kadym kolejnym cyklu w algorytmach genetycznych populacja ma stay rozmiar, wszystkie chromosomy podlegaj wymianie na nowe. Elementarny algorytm genetyczny jest skonstruowany z trzech nastpujcych operacji: reprodukcji, krzyowania oraz mutacji. Reprodukcja jest to proces, polegajcy na powieleniu indywidualnych cigw kodowych w stosunku zalenym od wartoci, jakie przybiera funkcja celu. Istniej rne sposoby powielania cigw. Najczciej spotykanym sposobem jest metoda ruletki. Krzyowanie to operacja genetyczna, skadajca si z dwch etapw. Najpierw kojarzymy w sposb losowy cigi kodowe z puli rodzicielskiej w pary, a nastpnie kada para przechodzi proces krzyowania. Mutacja polega na wymianie pojedynczego bitu w chromosomie. Prawdopodobiestwo wystpienia mutacji w AG jest bardzo mae. Mutacja jest
Strona 16 z 27
bdzeniem przypadkowym w przestrzeni cigw kodowych. Jest stosowana tylko na wypadek utraty wanych skadnikw rozwizania. AG nie przetwarzaj bezporednio parametrw zadania, lecz ich zakodowan cz. Prowadz poszukiwania, wychodzc nie z pojedynczego punktu, ale z pewnej ich populacji. AG korzystaj tylko z funkcji celu, nie za z jej pochodnych lub pomocniczych informacji. Ponadto stosuj probabilistyczne, a nie deterministyczne reguy wyboru. Wanym elementem w AG jest cel optymalizacji. Cel optymalizacji to zwikszenie efektywnoci a do osignicia pewnego optimum. Gwnym celem optymalizacji jest ulepszenie. Czyli w AG optymalizacja sprowadza si do poszukiwania maksimum funkcji. W algorytmach tych dymy do znalezienia globalnego maksimum, ale pewne odmiany potrafi znale te optima lokalne. Pierwszym krokiem w AG jest utworzenie populacji pocztkowej. Polega on na wybraniu okrelonej liczby chromosomw, reprezentowanych przez cigi bitowe okrelonej dugoci. Nasz algorytm rozpoczyna swoje dziaanie wanie od tej wybranej populacji pocztkowej i generuje kolejne (z zaoenia coraz lepsze) populacje cigw. Do nas naley ustalenie liczby populacji pocztkowej (naley pamita, e ta liczba nie moe by zbyt maa ani zbyt dua). Po wprowadzeniu populacji pocztkowej przychodzi pora na ocen osobnikw znajdujcych si w populacji. Na tym etapie badamy cechy poszczeglnych osobnikw. Krzyowanie ma na celu wymian materiau genetycznego pomidzy dwoma osobnikami. Mutacja wystpuje z bardzo maym prawdopodobiestwem. Wystpienie mutacji zalene jest od wspczynnika mutacji. Algorytm, teoretycznie, moe si nie koczy (dziaa w nieskoczono). Jednak przewanie wprowadza si jakie ograniczenia. Najczciej stosowane ograniczenia to: uzyskanie wartoci znanej wczeniej, okrelona liczb iteracji oraz brak poprawy wynikw. Zatrzymanie algorytmu zaley od zadania jakie wykonujemy. Sztuczne sieci neuronowe, bdce bardzo uproszczonym modelem mzgu ludzkiego, skadaj si z duej liczby jednostek neuronw, posiadajcych umiejtno przetwarzania informacji. Kady neuron wchodzcy w skad sieci powizany jest z innymi neuronami za pomoc czy o parametrach (tzw. wagach synaptycznych) zmienianych w trakcie procesu uczenia i sucych do komunikacji midzy neuronami. Na podstawie biecego stanu aktywacji neuronu i sygnaw wejciowych obliczany jest sygna, jaki neuron wysya do sieci poprzez jedno wyjcie do pozostaych neuronw (wzw sieci). W czasie transmisji sygna ten podlega osabieniu lub wzmocnieniu w zalenoci od charakterystyki cza. Wikszo budowanych sieci neuronowych skada si z kilku warstw: wejciowej sucej do wprowadzania do sieci danych wejciowych, wyjciowej wyznaczajcej kocowe rozwizanie i ukrytych przetwarzajcych sygnay w taki sposb, aby wydosta pewne dane porednie konieczne do wyznaczenia kocowego rozwizania. Istnieje wiele rodzajw sieci, ktre rni si midzy sob struktur i zasad dziaania. Najpopularniejsz obecnie struktur sieci neuronowych s perceptrony wielowarstwowe (MLP), nalece do grupy sieci z jednokierunkowymi poczeniami.
Strona 17 z 27
Rys 8. Schemat trjwarstwowego MLP Bardzo wanym etapem caego procesu konstruowania tych sieci jest okrelenie waciwej liczby warstw i neuronw w warstwach. Okazuje si, e najwiksze moliwoci posiadaj nieliniowe sieci neuronowe o co najmniej trzech warstwach, przy czym liczba neuronw w warstwach wejciowej i wyjciowej jest okrelona przez rozwizywany problem, natomiast liczba neuronw w warstwie ukrytej zaley od zoonoci problemu, od typu funkcji aktywacji neuronw tej warstwy, od algorytmu uczenia, od rozmiaru danych uczcych. Najpowszechniejsz metod uczenia perceptronw jest metoda wstecznej propagacji bdw. Chcc waciwie przeprowadzi proces uczenia sieci, napotykamy na wiele trudnoci zwizanych m.in. z doborem odpowiedniego zbioru uczcego oraz parametrw uczenia sieci. Powolno i uciliwo procesu uczenia metod wstecznej propagacji bdw w sieciach nieliniowych sprawiy, e pojawiy si rwnie inne rodzaje sieci neuronowych, midzy innymi sieci rezonansowe (ART), sieci Hopfielda (ze sprzeniem zwrotnym), sieci Kohonena, sieci o radialnych funkcjach bazowych (RBF), probabilistyczne sieci neuronowe (PNN). Jednym z gwnych problemw rozwizywanych za pomoc sieci neuronowych jest klasyfikacja i rozpoznawanie obrazw i dwikw, wykorzystywane rwnie w medycynie sdowej. Sieci neuronowe (m.in. RBF) mog by rwnie z powodzeniem stosowane do klasyfikacji chromosomw pod warunkiem istnienia olbrzymiego zbioru danych, pozwalajcych na uczenie i testowanie sieci.
9. Inteligentne systemy hybrydowe

Inteligentne systemy hybrydowe (Intelligent Hybrid Systems) staraj si integrowa odmienne techniki sztucznej inteligencji (logika rozmyta, sieci neuronowe, obliczenia ewolucyjne, metody probabilistyczne, maszynowe uczenie systemy ekspertowe, itd. . . ). Fundamentem powstawania takich rozwiza jest stwierdzenie, e metody te midzy sob s komplementarne. W praktyce oznacza to, e metody te wzajemnie si uzupeniaj, wady jednej s kompensowane zaletami innej. Istnieje wiele moliwych kombinacji wrd systemw symbolicznych i metod tak zwanej mikkiej sztucznej inteligencji (soft-computing)1, oraz wiele moliwych sposobw ich czenia. Dla przykadu sieci neuronowe mog by czone z logik rozmyt, wnioskowaniem na podstawie przykadw, algorytmami genetycznymi. W ostatnich latach, bardzo gwatowny wzrost zapotrzebowania na wyranowane i zoone rozwizania z
Strona 18 z 27
dziedziny inteligentnych systemw informatycznych sprawia, e osignicie penego sukcesu nie jest moliwe bez wykorzystania moliwoci, jakie oferuj nam systemy hybrydowe. Reprezentacja i manipulacja, przy pomocy komputerw, duymi ilociami wiedzy oraz zapewnienie ich integralnoci, spjnoci i efektywnoci wykorzystania jest jednym z kluczowych nurtw bada w dziedzinie szeroko pojtej sztucznej inteligencji. Naley zdawa sobie spraw z tego, e przyjty przez nas format przechowywania i reprezentacji wiedzy powinien by w stanie poradzi sobie z pewnymi oczywistymi problemami. Niedokadno i niekompletno zgromadzonej wiedzy to jeden z nich. Rne sposoby przechowywania teje wiedzy (np. sieci neuronowe, logika rozmyta, systemy ekspertowe) posiadaj specyczne wasnoci radzenia sobie z danymi niepewnymi, nieprecyzyjnymi albo nawet nieprawidowymi. Pewne metody lepiej nadaj si do przechowywania danych numerycznych, jeszcze inne sprawdzaj si lepiej, kiedy pragniemy operowa na danych w postaci symbolicznej. Nie ma zadowalajcego uniwersalnego rozwizania, pozwalajcego radzi sobie z wszystkimi problemami zwizanymi z reprezentacj wiedzy. Wiedza ludzka jest czsto trudna do wyraenia w formacie, na jakim zazwyczaj operuj komputery. Typowym jest fakt, e nie potramy sformuowa naszej wiedzy w specycznym jzyku (formie) jej reprezentacji. Ludzie rozwizuj problemy oraz operuj na posiadanej wiedzy za pomoc nastpujcych mechanizmw: wnioskowanie, analogia, dedukcja, bazowanie na wczeniejszych dowiadczeniach. Naturalna inteligencja bazuje na wielu hybrydowych sposobach jej reprezentacji i manipulacji. Podobnie celem stosowania systemw hybrydowych w dziedzinie sztucznej inteligencji jest: wykorzystanie caej dostpnej wiedzy na temat specycznego problemu, moliwoci skorzystania z wielu typw informacji (symbolicznej, numerycznej, niecisej, nieprecyzyjnej), zaoferowanie wielu rnych schematw rozumowania i bardziej trafnego wyszukiwania odpowiedzi na zadawane pytania, zwikszenia oglnej efektywnoci systemu i eliminacja ujemnych stron pojedynczych metod, stworzenie wydajnych i potnych systemw rozumowania. Aby osign te cele konstruuje si systemy hybrydowe w skad, ktrych mog wchodzi metody przedstawione na rysunku 5.
Strona 19 z 27
Rys 9. Moliwe elementy skadajce si na system hybrydowy Architektury systemw hybrydowych mog by sklasyfikowane wedug stopnia integracji i sposobu integracji. Stopie integracji jest kryterium do mierzenia stopnia integracji pomidzy dwoma moduami systemu hybrydowego. Systemy sklasyfikowane wedug stopnia integracji Systemy niezalene Systemy transformujce Systemy sklasyfikowane wedug stopnia integracji Systemy luno zwizane Systemy zintegrowane Systemy w peni zintegrowane
Modele pracy systemu hybrydowego Przetwarzanie acuchowe - modu przetwarzania symbolicznego (np. system ekspertowy), odgrywa rol gwnego procesu systemu. Jego praca moe by wspierana przez prace przez pre-procesor oraz post-procesor bdcy np. sieci neuronow. Moliwa jest rwnie konguracja odwrotna.
Strona 20 z 27
Meta przetwarzanie - jeden modu odgrywa rol gwnego procesu rozwizujcego problem inne natomiast pracuj w meta - warstwie penic role np. dozorcy, kontrolera wydajnoci, detektora bdw, w stosunku do procesu w niszej warstwie. Przetwarzanie wewntrzne - jeden lub wicej moduw jest osadzonych (wbudowanych) w innych. Praca elementw osadzonych jest koordynowana przez proces gwny. Przetwarzanie wsplne - oba moduy s rwnorzdnymi partnerami podczas rozwizywania problemu. Kady proces moe dziaa bezporednio na rodowisku, w ktrym pracuj, oraz kady moe transmitowa oraz obiera informacje od drugiego.
Rys 10. Modele pracy systemu hybrydowego
10. Sieci oparte na radialnych funkcjach bazowych RBF

Podstaw matematyczn funkcjonowania sieci radialnych jest twierdzenie Covera2 o separowalnoci wzorcw, stwierdzajce, e zoony problem klasyfikacyjny zrzutowany nieliniowo w przestrze wielowymiarow ma wiksze prawdopodobiestwo by liniowo separowalny ni przy rzutowaniu w przestrze o mniejszej liczbie wymiarw. Przy oznaczeniu przez (x) wektora funkcji radialnych (x)= [
1 T
(x),
2(x),...,
K ( x )]
wN-
wymiarowej przestrzeni wejciowej, podzia tej przestrzeni na X+,X-, przy czym X+ i X- reprezentuj 2 klasy przestrzeni, jest nieliniowo -separowany, jeli istnieje taki wektor W, e:
W T ( x) W T ( x)
0 dla x 0 dla x
X (5. 1) X (5. 2)
WT( (x) = 0 reprezentuje granic midzy obu klasami. Udowodniono [21], e kady zbir wzorcw losowo
Strona 21 z 27
rozmieszczony w przestrzeni wielowymiarowej jest -separowalny z prawdopodobiestwem rwnym l pod warunkiem odpowiednio duego wymiaru K przestrzeni rzutowania. W praktyce oznacza to, e przyjcie dostatecznie duej liczby neuronw ukrytych realizujcych funkcj radialn i(x) zapewnia przyjcie dostatecznie duej liczby neuronw ukrytych realizujcych funkcj radialn i(x) zapewnia rozwizanie problemu klasyfikacyjnego przy uyciu dwu warstw sieci: warstwy ukrytej realizujcej wektor (x) i warstwy wyjciowej o jednym neuronie liniowym opisanym wektorem wagowym W. Sie neuronowa typu radialnego dziaa na zasadzie wielowymiarowej interpolacji, ktrej zadaniem jest odwzorowanie p rnych wektorw wejciowych xi (i = l, 2,... , p) z przestrzeni wejciowej N wymiarowej w zbir p liczb rzeczywistych di (i = l, 2,... ,p), czyli okrelenie takiej funkcji radialnej F (x), dla ktrej s spenione warunki interpolacji
F ( xi )
przy wyborze funkcji F(x) w postaci
p
d i (5. 3)
F ( x)
i 1
Wi ( x
xi ) (5. 4)
Wybr rodzaju normy moe by dowolny, cho w praktyce stosuje si zwykle norm euklidesow. Wartoci wektorw xi (i = l, 2,... , p) stanowi centra funkcji radialnej. Przy zaoeniu p punktw interpolacyjnych rwnanie (5.3) mona zapisa w postaci ukadu rwna liniowych
11 21 12 22
... ... ... ...
1p 2p
W1 W2 ... Wp
d1 d2 ... dp
(5. 5)
...
p1
...
p2
...
pp
przy czym jako
ji
= (||xj-xi||) dotyczy funkcji radialnej w centrum xi. Oznaczajc macierz o elementach
ji
oraz przyjmujc oznaczenia wektorw W = [W1, W2, . . . , Wp]T , d = [ d 1 , d 2 , . . . , d p ] T rwnanie (5.5)
moe by zapisane w prostej postaci macierzowej
d (5. 6)
... ... xp, kwadratowa macierz
Wykazano, e dla szeregu funkcji radialnych, przy zaoeniu x1 x2 interpolacyjna w postaci
jest nieosobliwa, a przy tym dodatnio pokrelona. Istnieje zatem rozwizanie rwnania (5.6)
d (5. 7)
umoliwiajce okrelenie wektora wag W neuronu wyjciowego sieci. Rozwizanie teoretyczne problemu okrelone wzorem (5.7) nie jest waciwe z praktycznego punktu widzenia z powodu niesatysfakcjonujcych waciwoci uoglniajcych sieci towarzyszcych poczynionym na wstpie zaoeniom. Przy bardzo duej liczbie danych uczcych i rwnej im liczbie funkcji radialnych problem z matematycznego punktu widzenia staje si przewymiarowany (le postawiony), gdy liczba rwna
Strona 22 z 27
przewysza wszelkie stopnie swobody procesu fizycznego modelowanego rwnaniem (5.5). Oznacza to, e rezultatem takiej nadmiarowoci wag bdzie dopasowanie modelu do rnego rodzaju szumw lub nieregularnoci wystpujcych w danych uczcych. W efekcie hiperpaszczyzna interpolujca dane uczce bdzie niegadka, a zdolnoci uoglniania sieci niewielkie. Aby je poprawi, naley wydoby dodatkow informacj z nadmiarowej liczby danych i uy jej do regularyzacji problemu, czyli poprawy jego uwarunkowania. Metody regularyzacji, wywodzce si od Tichonowa, polegaj na stabilizacji procesu przez doczenie do rwnania podstawowego dodatkowych warunkw w postaci rwna wizw, ograniczajcych stopnie swobody dobieranych parametrw. Dziki dziaaniu czynnika stabilizujcego nawet przy nadmiarowej liczbie funkcji radialnych jest moliwy taki dobr parametrw, ktry zapewni cigo i gadko hiperpaszczyzny aproksymujcej dane uczce, poprawiajc w ten sposb waciwoci uoglniajce sieci. W przypadku rozwaanego procesu regularyzacj Tichonowa mona zdefiniowa na bazie problemu optymalizacyjnego, w ktrym minimalizowana funkcja celu moe by wyraona wzorem
L( F )
1 2
F ( xi ) d i
i 1
1 2
PF
(5. 8)
Skadnik pierwszy odpowiada rwnaniu (5.3), a skadnik drugi stanowi regularyzacj, ze wspczynnikiem regularyzacji , bdcym liczb rzeczywist dodatni. Wspczynnik regularyzacyjny ||PF|| jest zoony z operatora pseudo rniczkowego P dziaajcego na funkcji aproksymujcej F i stanowi czynnik stabilizujcy. Jest to odpowiednik funkcji kary w teorii optymalizacji, karzcy za brak gadkoci funkcji F (due i czsto powtarzajce si zmiany nachyle funkcji aproksymujcej). Wspczynnik regularyzacyjny jest wskanikiem, na ile dane uczce s wystarczajce do dobrego zdefiniowania problemu interpolacyjnego przy zadanej liczbie funkcji bazowych. Przy = 0 dziaanie regularyzacji ustaje, co odpowiada optymalizacji bez adnych ogranicze. Przy powinna znajdowa si midzy tymi dwiema czynnik stabilizujcy przejmuje cakowit rol w sterowaniu procesem, a rozwizanie problemu (5.8) przestaje odpowiada rwnaniu wyjciowemu (5.3). W praktyce warto skrajnociami. Na rysunku 5.2 przedstawiono pogldowo wpyw czynnika stabilizujcego na jako uzyskanego rozwizania problemu aproksymacyjnego. Funkcj aproksymujc F(x) przedstawion na rys. 5.2a uzyskano przy nadmiarowej liczbie funkcji bazowych i wartoci = 0.
Strona 23 z 27
Rysunek 5.2 Wpyw regularyzacji na odwzorowanie danych przy nadwymiarowej liczbie funkcji bazowych: a) brak regularyzacji; b) wynik z regularyzacj
Wprowadzenie wartoci w praktyce.
0 stabilizuje proces aproksymacji, czynic rozwizanie gadkim, przydatnym
Teoretyczne rozwizanie problemu regularyzacji uzyskano przy zastosowaniu funkcji Greena G(x; xi) i moe by przedstawione w postaci [41]
F ( x)
di
i 1
F ( xi ) G ( x; xi ) (5. 9)
Wyraa si ono poprzez liniow superpozycj funkcji Greena, w ktrej xj jest centrum rozwinicia, a wagi
Wi
di
F xi
reprezentuj nie znane wspczynniki rozwinicia. Analogicznie do wzoru (5.4) funkcje
Greena G(x; xi) odgrywaj rol funkcji bazowych, a rozwizanie problemu interpolacji jest wyraone w standardowej postaci
p
F ( x)
i 1
Wi G ( x; xi ) (5. 10)
Wprowadzajc nastpujce oznaczenia:
F d
[ F ( x1 ), F ( x 2 ),..., F ( x p )]T [d1 , d 2 ,..., d p ]T G ( x1 ; x1 ) G ( x1 ; x 2 ) ... G ( x1 ; x p ) G ( x 2 ; x 2 ) ... G ( x 2 ; x p ) ... ... ... G ( x 2 ; x1 ) ...
G ( x p ; x1 ) G ( x p ; x 2 ) ... G ( x p ; x p ) W [W1 ,W2 ,..., W p ]T
otrzymuje si rwnowany zapis rwnania w postaci
GW (5. 11)
Strona 24 z 27
Dla W
F rwnanie przyjmie posta
(G
1)W
d (5. 12)
w ktrej G jest macierz funkcji bazowych Greena, a skadnik l stanowi czynnik regularyzacyjny, podobnie jak w metodzie optymalizacyjnej z regularyzacj Levenberga-Marquardta. Rwnanie (5.12) jest regularyzowanym odpowiednikiem rwnania wyjciowego (5.6), a macierz Greena G odpowiednikiem macierzy 0. Dla pewnej klasy funkcji Greena macierz G jest rwnie nieosobliwa i dodatnio okrelona. Przewaga opisu (5.12) polega na czynniku regularyzacyjnym A, ktry, praktycznie biorc, dla dowolnej liczby funkcji bazowych umoliwia zregularyzowanie problemu interpolacyjnego, dajc rozwizanie w postaci
(G
1) 1 d (5. 13)
W praktyce funkcje Greena dobiera si w postaci radialnej
G ( x; xi )
a rozwizanie (5.10) przyjmie wwczas posta
p
G( x
xi ) (5. 14)
F ( x)
i 1
Wi G x
xi
(5. 15)
Najbardziej popularnym typem radialnej funkcji Greena jest funkcja Gaussa
G x; xi
exp
x 2
xi
2 i
exp
1 2
N 2 i k 1
2 i
xk
xi , k
(5. 16)
przy czym xi oznacza wektor wartoci rednich (centrw), a posta

p
- wariancj. Przy gaussowskiej postaci
funkcji Greena regularyzowane rozwizanie problemu aproksymacji za pomoc funkcji radialnych przyjmie
F x
i 1
Wi exp
x 2
xi
2 i
(5. 17)
bdc liniow superpozycj wielowymiarowych funkcji Gaussa z centrami ulokowanymi w xi (przy wartoci p rwnej liczbie danych uczcych wektor centrum odpowiada wsprzdnym xi wektora uczcego) i szerokoci
i.
11. Podsumowanie
Nie ma odwrotu od komputerw, ani w medycynie ani w adnej innej gazi ycia. Obecne pokolenie przyzwyczajone jest ju do komputerw niemal od koyski. Dostp do encyklopedycznych baz
Strona 25 z 27
danych, zarwno przechowywanych w lokalnych komputerach jak i specjalistycznych baz danych dostpnych przez sieci komputerowe, w poczeniu z moliwoci analizy gosu i syntezy mowy oraz postpami w zakresie analizy semantycznej (wydobywanie sensu z zapyta) spowoduje w cigu nastpnych 5-10 lat pojawienie si systemw doradczych, zdolnych do kompetentnej odpowiedzi na prawie kade pytanie. Cakowita automatyzacja procesw zbierania danych o pacjentach umoliwi wspomaganie procesw diagnostycznych i planowania terapii na wszystkich etapach. Paradoksalnie rozwj technik komputerowych powinien spowodowa odcienie lekarzy od wielu czasochonnych zaj i przyczyni si do humanizacji medycyny. Zastosowanie techniki komputerowych w zminiaturyzowanej aparaturze medycznej przeznaczonej dla domowego uytku - na przykad wmontowanej w ubikacjach do analizy moczu (urzdzenia takie dostpne s obecnie w Japonii) czy kach do obserwacji snu, analizy oddechu lub potu pozwoli na wykrywanie pewnych chorb we wczesnych stadiach i automatycznie zawiadamianie sub medycznych. W cigu nastpnych 10 lat spodziewa si mona bardzo duego postpu w uatwianiu komunikacji czowiek-maszyna, a w szczeglnoci stworzenia oprogramowania wykazujcego zdrowy rozsdek i zdolnego do dialogu z czowiekiem w jzyku naturalnym. Jest to celem realizowanego od kilkunastu lat w Stanach Zjednoczonych projektu CYC, ktry wszed obecnie w faz komercjalizacji. Dwa systemy CYC wyposaone we wspln baz wiedzy lecz rnice si wiedz specjalistyczn s zdolne wsplnie rozumowa dochodzc do wnioskw, ktrych aden z nich nie byby wstanie osign. Komputery oraz sieci neuronowe oparte na zjawiskach kwantowych (kropkach kwantowych) powinny si upowszechni przy kocu pierwszej dekady przyszego wieku. W nieco dalszej perspektywie spodziewa si mona bezporedniego sprzenia urzdze komputerowych z systemem nerwowym. Ju obecnie mona hodowa pojedyncze neurony lub niewielkie grupy, wpywa na ich rozwj i przycza je do mikroprocesorw ukady takie powinny wkrtce znale zastosowanie jako sensory chemiczne. Bardzo zaawansowany jest te program budowy sztucznej siatkwki. Powszechna komputeryzacja i dostp do informacji maj te swoje negatywne strony. Wirusy komputerowe lub te pomyka uytkownika moe doprowadzi do zniszczenia cennych danych. Prawidowo zorganizowany system komputerowy powinien automatycznie tworzy kopie zapasowe wszystkich wanych danych. W Internecie to, co bierzemy za informacj, jest czsto dezinformacj, mogc czsto uczyni nieobliczalne szkody. Problem wiarygodnoci informacji nie dotyczy jednak tylko Internetu, gdy pseudonaukowych ksiek i pism w tradycyjnej formie rwnie nie brakuje. Orodki medyczne bd musiay powici wicej uwagi ocenie dostpnej w Internecie informacji tworzc swoje wasne serwisy informacyjne. Wamania do sieci komputerowych i moliwo dostpu do danych pacjentw np. przez firmy ubezpieczeniowe stanowi rwnie pewne niebezpieczestwo od dawna szczegowo dyskutowane. Wszystkie problemy mona jednak przezwyciy w stosunkowo atwy sposb.
Strona 26 z 27
Przypisy
1. Wprowadzam tu rozrnienie zaproponowane przez M.J. Kasperskiego: termin pisany wielk liter (Sztuczna Inteligencja) okrela bdzie dziedzin bada (), a oddany maymi literami () przedmiot jej bada M.J. Kasperski, Sztuczna Inteligencja, Helion, Gliwice 2003, s. 20. 2. Cover T.: Geometrical and statistical properties of systems of linear inequalities with applications in pattern recoquition. IEEE Trans. Electronic Computers, 1965, Vol. 14, s. 326-334.
Strona 27 z 27
Bibliografia
1. Micha Biako, Podstawowe wasnoci sieci neuronowych i hybrydowych systemw eksperowych. Wydawnictwo Uczelniane Politechniki Koszaliskiej 2000. 2. Ryszard Tadeusiewicz, Sieci Neuronowe, Akademicka Oficyna Wydawnicza, wyd. 2. 1993 r. http://winntbg.bg.agh.edu.pl/skrypty/0001/ . 3. R. Rudkowski., Informatyka medyczna, PWN, Warszawa 2003. 4. Zajdel R., Kcki E., Szczepaniak P., Kurzyski M., Kompendium informatyki medycznej, Alfa Medica Press, Bielsko-Biaa, 2003. 5. Rutkowski L., Metody i techniki sztucznej inteligencji, PWN, Warszawa, 2009. 6. M.J. Kasperski, Sztuczna Inteligencja. Droga do mylcych maszyn. Helion 2003. 7. Cichosz, P.: Systemy uczce si. Wydawnictwo Naukowo-Techniczne 2000. 8. Marczak, M,, Duch, W., Grudziski, K., Naud, A.: (2002) Transformation Distances, Strings and Identification of DNA Promoters. Int. Conf. on Neural Networks and Soft Computing, Zakopane, Poland (in print, 2002). 9. wi A., Bilski J. 2000. Metoda wstecznej propagacji bdw i jej modyfikacje. Biocybernetyka i Inynieria Biomedyczna, Tom 6. Sieci Neuronowe. Akademicka Oficyna Wydawnicza EXIT, Warszawa. 10. Duch, W., Diercksen, G.H.F.: Neural networks as tools to solve problems in physics and chemistry. Computer Physics Communications 82 (1994). 11. Micha Stanek, Systemy Hybrydowe - Wprowadzenie, 21 stycznia 2005

Zastosowanie Informatyki W Medycynie

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Zastosowanie Informatyki W Medycynie

Uploaded by

Copyright:

Available Formats

zastosowania informatyki w medycynie

ZASTOSOWANIA INFORMATYKI W MEDYCYNIE

zastosowania informatyki w medycynie

zastosowania informatyki w medycynie

Rys 1. Neuron biologiczny

zastosowania informatyki w medycynie

Rys 2. Neuron biologiczny wraz ze skadowymi

Naukowcy porwnuj nasz mzg do hierarchicznego procesora

Rys 3. Czci mzgu i obszary odpowiedzialnoci

Rys 4. Model jednowarstwowej sieci neuronowej

zastosowania informatyki w medycynie odpowiednik oddajcy ide

3. Sztuczne sieci neuronowe

zastosowania informatyki w medycynie

zastosowania informatyki w medycynie problematyk sieci neuronowych.

4. Zastosowanie metod sztucznej inteligencji

zastosowania informatyki w medycynie

zastosowania informatyki w medycynie

zastosowania informatyki w medycynie

Budowa bazy wiedzy:

Rys 7. Budowa bazy wiedzy

zastosowania informatyki w medycynie

7. Sieci neuronowe - algorytm uczenia

algorytmy gradientw sprzonych

wymagaj niewiele wicej pamici w porwnaniu z prostszymi algorytmami, s czsto dobrym

zastosowania informatyki w medycynie

1 N ( yk d k ) 2 2k1 w przypadku wielu par (x(j), d(j)) E (W ) E (W ) 1 2

zastosowania informatyki w medycynie

8. Algorytmy genetyczne - ewolucyjne

zastosowania informatyki w medycynie

zastosowania informatyki w medycynie

9. Inteligentne systemy hybrydowe

zastosowania informatyki w medycynie

zastosowania informatyki w medycynie

zastosowania informatyki w medycynie

Rys 10. Modele pracy systemu hybrydowego

10. Sieci oparte na radialnych funkcjach bazowych RBF

zastosowania informatyki w medycynie

... ... ... ...

przy czym jako

= (||xj-xi||) dotyczy funkcji radialnej w centrum xi. Oznaczajc macierz o elementach

oraz przyjmujc oznaczenia wektorw W = [W1, W2, . . . , Wp]T , d = [ d 1 , d 2 , . . . , d p ] T rwnanie (5.5)

moe by zapisane w prostej postaci macierzowej

Wykazano, e dla szeregu funkcji radialnych, przy zaoeniu x1 x2 interpolacyjna w postaci

zastosowania informatyki w medycynie

zastosowania informatyki w medycynie

Wprowadzenie wartoci w praktyce.

0 stabilizuje proces aproksymacji, czynic rozwizanie gadkim, przydatnym

reprezentuj nie znane wspczynniki rozwinicia. Analogicznie do wzoru (5.4) funkcje

Wprowadzajc nastpujce oznaczenia:

G ( x p ; x1 ) G ( x p ; x 2 ) ... G ( x p ; x p ) W [W1 ,W2 ,..., W p ]T

otrzymuje si rwnowany zapis rwnania w postaci

zastosowania informatyki w medycynie

F rwnanie przyjmie posta

W praktyce funkcje Greena dobiera si w postaci radialnej

Najbardziej popularnym typem radialnej funkcji Greena jest funkcja Gaussa

przy czym xi oznacza wektor wartoci rednich (centrw), a posta

- wariancj. Przy gaussowskiej postaci

zastosowania informatyki w medycynie

zastosowania informatyki w medycynie

zastosowania informatyki w medycynie

You might also like