142 PRZEGLD ELEKTROTECHNICZNY (Electrical Review), ISSN 0033-2097, R.

87 NR 9a/2011
Marcin KOODZIEJ, Andrzej MAJKOWSKI, Remigiusz J. RAK
Instytut Elektrotechniki Teoretycznej i Systemw Informacyjno-Pomiarowych
Wydzia Elektryczny, Politechnika Warszawska


Optymalizacja doboru okien czasowych do przetwarzania
sygnau EEG w interfejsach mzg-komputer


Streszczenie: Interfejsy BCI umoliwiaj bezporedni komunikacj pomidzy mzgiem a komputerem. Zaoeniem autorw jest prba
rozpoznania (klasyfikacja) jednosekundowego zapisu sygnau EEG skojarzonego z wykonywaniem przez osob pewnego zadania mylowego.
Podczas przeprowadzania eksperymentw okazao si, e na proces klasyfikacji duy wpyw ma szeroko oraz sposb zachodzenia na siebie
okien czasowych, z ktrych ekstrahuje si cechy. Celem referatu jest wskazanie jak najlepszej strategii doboru parametrw okien czasowych na
potrzeby wyznaczenia cech i nauki klasyfikatora.

Abstract: BCI interfaces allow direct communication between the brain and the computer. The authors idea is to try to identify (classify) one-second
windows of EEG signal associated with doing by a person a certain mental task. During the experiments it turned out that the classification process
is highly influenced by the width of the windows and the way they overlap. The aim of this paper is to identify the best strategies for selection of time
windows of EEG signal for the purposes of feature extraction and classifier learning. (Optimization of the time window of signal processing in
interface between brain and computer)

Sowa kluczowe: interfejs mzg-komputer, ekstrakcja cech, klasyfikacja, ITR.
Keywords: brain-computer interface, feature extraction, classification, ITR.

Wstp
W ostatnich latach, dziki postpowi technologicznemu
wyranie wzrasta zainteresowanie naukowcw interfejsami
mzg-komputer (Brain-Computer Interface: BCI). Interfejsy
takie umoliwiaj bezporedni komunikacj pomidzy
mzgiem a komputerem. Wybrany stan aktywnoci mzgu,
odczytany z sygnaw generowanych przez neurony,
zostaje przetworzony na informacj zrozumia przez
komputer. Interfejsy mzg-komputer znajduj zastosowanie
przede wszystkim w procesach usprawniania osb
sparaliowanych, umoliwiajc im kontakt z otoczeniem.
Mona rwnie zaobserwowa prby zastosowania
interfejsu mzg-komputer w systemach wojskowych oraz w
szeroko rozumianej rozrywce.

Optymalizacja doboru okien czasowych
Jednym z wanych elementw systemu BCI jest
efektywny klasyfikator. Jego zadaniem jest klasyfikacja
sygnaw elektroencefalograficznych (EEG) zebranych z
powierzchni gowy okrelajcych pewne zadanie mylowe
uytkownika. Rol klasyfikatora peni najczciej sztuczne
sieci neuronowe (ANN), klasyfikator najbliszych ssiadw
(KNN) lub liniowa analiza dyskryminacyjna (LDA). Podczas
projektowania systemw BCI ocenia si skuteczno
klasyfikacji sygnau EEG. Klasyfikatory dziaaj w dwch
etapach: nauki i klasyfikacji. Podczas nauki z nadzorem
klasyfikator otrzymuje dane (cechy) oraz informacj o ich
przynalenoci do konkretnej klasy. W trybie klasyfikacji
otrzymuje tylko cechy, a zwraca na wyjciu informacj o
przynalenoci do konkretnej klasy. Zwykle proces
klasyfikacji jest weryfikowany poprzez sprawdzenie
klasyfikatora na nowych danych, nie wykorzystanych w
procesie uczenia. Zaoeniem autorw jest prba
rozpoznania (klasyfikacja) jednosekundowego zapisu
sygnau EEG skojarzonego z realizacj przez osob
pewnego zadania mylowego (np. wyobraania sobie ruchu
praw lub lew rk, czy stop).
W zaproponowanym, standardowym rozwizaniu dla
kadego fragmentu sygnau EEG, trwajcego 1 sekund,
wylicza si wariancj w pamie 8-30 Hz. Przy 32-kanaowej
rejestracji sygnau EEG dla kadego fragmentu mona wic
wygenerowa 32 wspczynniki (cechy). Podczas
przeprowadzania eksperymentw okazao si jednak, e na
proces klasyfikacji duy wpyw ma szeroko okna
czasowego, z ktrego ekstrahuje si cechy. Jednoczenie,
szeroko okna ma wpyw na szybko przekazywania
intencji maszynie. Celem sformalizowania tego ostatniego
parametru, aby umoliwi porwnanie ze sob rnego
typu interfejsw wykorzystuje si tak zwany wspczynnik
szybkoci transferu informacji (Information Transfer Rate
ITR, [bit/sec] lub [bit/sample]).
Wspczynnik ITR (wyraony w bitach na prb), dla
systemw BCI z N zadaniami mylowymi (moliwymi
wyborami), definiuje si jako [1]:
(1) B = log
2
N +P log
2
P +(1 -P) log
2
1-P
N-1

gdzie P oznacza redni skuteczno klasyfikacji. Jeli
wspczynnik B podzielimy przez T
act
(okres czasu, w
ktrym przeprowadzana jest klasyfikacja wyraony w
sekundach) to otrzymamy ITR rwny
B
1
cct
wyraony w liczbie
bitw na sekund.

Rys. 1. Zaleno wspczynnika ITR od trafnoci dziaania
klasyfikatora

Rysunek 1 obrazuje jak trafno dziaania klasyfikatora
P wpywa na ITR wyraony w bitach na prb. Oczywicie
wykres ma sens dla trafnoci klasyfikatora wikszych ni
1/N, gdzie N to liczba wyborw. Wspczynnik ITR czy w
sobie kilka miar, to jest bd i trafno klasyfikacji oraz
liczb moliwych wyborw (zada mylowych).
Powstaje pytanie, jak szerokie ma by okno i czy okna
powinny na siebie zachodzi. Wiksza liczba wsplnych
prbek (silniejsze zachodzenie na siebie okien) pozwala na
wygenerowanie duej liczby przykadw, co z kolei pozwala
na lepsze nauczenie klasyfikatora dla wybranej sesji
PRZEGLD ELEKTROTECHNICZNY (Electrical Review), ISSN 0033-2097, R. 87 NR 9a/2011 143
uytkownika. Jednak dla nowych danych (nowej sesji
uytkownika) moe si okaza, e ten sposb prowadzi do
przeuczenia klasyfikatora i daje due bdy klasyfikacji.
Istotne jest zatem wskazanie jak najlepszej strategii
doboru parametrw okien czasowych na potrzeby
wyznaczenia cech i nauki klasyfikatora. Do oceny
najlepszego rozwizania posuy bd klasyfikacji wyliczony
dla danych z zupenie innej sesji ni ta, na ktrej uczono
klasyfikator. Wanym elementem byo sprawdzenie
zachowania si klasyfikatorw, takich jak K-NN i LDA. Na
podstawie przeprowadzonych bada okreli mona jaka
szeroko okna czasowego jest najbardziej odpowiednia
oraz jaki zakres nakadania okien naley zastosowa.
Odpowiedni dobr parametrw okna ma due znaczenie
praktyczne i pozwoli zmaksymalizowa szybko dziaania
interfejsu, co moe usprawni proces komunikacji osobom
niepenosprawnym.

Przeprowadzone dowiadczenia
Pierwszy etap bada polega na wyznaczeniu najlepszej
szerokoci okna T. Zarejestrowany sygna EEG [2] zawiera
kilka sesji dla trzech uytkownikw. Kady z uytkownikw
realizowa pewne zadania mylowe. Zadaniami tymi byy
wyobraanie sobie ruchu praw rka, lew rk oraz
generowanie sowa na wyznaczon liter. Czstotliwo
prbkowania zarejestrowanego sygnau wynosia
Fs=512Hz. Sygna EEG, zarejestrowany za pomoc 32
elektrod zosta przefiltrowany pasmowo-przepustowym
filtrem Butterwortha o pamie przenoszenia 8-30Hz.
Parametrem badanym bya szeroko okna, dla ktrego
wyznaczana bya energia sygnau. Energi sygnau X,
mona estymowa poprzez obliczenie wariancji:
(2) :or|X] = F|(X -p)
2
]
gdzie, E[] oznacza warto oczekiwan a p=E[X] redni z
wektora X, ktry zawiera kolejne prbki sygnau.
W celu wyeliminowania danych o duych wartociach,
ktre mog dawa bdne wyniki klasyfikacji, jako cechy
zaproponowano pierwiastki z wariancji sygnau. Uyto 32
elektrod, wic z jednego okna sygnau zawsze generowane
byy 32 cechy. Cechy posuyy do nauki i testowania
klasyfikatorw KNN oraz LDA.
Systemy BCI dziaaj w dwch trybach, kalibracji oraz
normalnej pracy. Na etapie kalibracji realizowane s:
przetwarzanie sygnau, ekstrakcja cech, nauka klasyfikatora
(po przeprowadzeniu jednej sesji). W trakcie normalnej
pracy systemu BCI dokonywane s: przetwarzanie sygnau,
ekstrakcja cech oraz klasyfikacja, ktra odbywa si przy
wykorzystaniu danych dla zupenie nowej sesji. Dlatego, w
efekcie kocowym, istotna jest trafno klasyfikacji nowych
danych.
Podczas przeprowadzania eksperymentu, klasyfikator
uczono na danych pochodzcych z innej sesji ni dane
uyte do testowania. Taka sytuacja bdzie miaa miejsce w
rzeczywistoci. W tabeli 1 przedstawiono wyniki obrazujce
jak szeroko okna (w prbkach) wpywa na bd
klasyfikacji dla klasyfikatorw KNN oraz LDA (liniowy) oraz
teoretyczny transfer ITR dla nowej sesji uytkownika. W tym
przypadku okno byo przesuwane co poow jego
szerokoci. ITR wyznaczono dla klasyfikatora KNN, ktry
okaza si by lepszym.
Rwnie sposb przesuwania okna moe mie istotny
wpyw na jako uczenia klasyfikatora. Dlatego kolejny etap
bada mia na celu sprawdzenie jak na jako klasyfikacji
oraz ITR wpywa stopie nakadania okien. W tym celu
wybrano dwusekundowe okno (1024 prbki) i generowano
cechy przesuwajc okno co 32 prbki. Nastpnie
zwikszono przesuwanie o kolejne 32 prbki i w ten sposb
badano wpyw przesuwania okien na klasyfikacj oraz ITR.
Tabela 1. Wpyw szerokoci okna na wyniki klasyfikacji oraz
wspczynnik ITR
Dugo
okna
Bd
LDA
Bd
KNN
B ITR [bit/min]
256 0,388 0,475 0,112 13,39
384 0,338 0,433 0,165 13,24
512 0,321 0,436 0,161 9,69
640 0,314 0,351 0,299 14,36
768 0,323 0,354 0,293 11,70
896 0,313 0,294 0,417 14,29
1024 0,312 0,333 0,333 10,00
1152 0,294 0,294 0,417 11,13
1280 0,300 0,316 0,369 8,87
1408 0,341 0,277 0,456 9,94
1536 0,371 0,308 0,386 7,71
1664 0,253 0,281 0,448 8,26
1792 0,299 0,255 0,510 8,74
1920 0,276 0,220 0,603 9,66
2048 0,361 0,252 0,518 7,77
2176 0,327 0,221 0,601 8,49
2304 0,255 0,236 0,561 7,48
2432 0,277 0,178 0,731 9,23
2560 0,305 0,232 0,573 6,87
2688 0,261 0,250 0,524 5,98
2816 0,207 0,264 0,487 5,32
2944 0,373 0,205 0,649 6,77
3072 0,213 0,163 0,782 7,82
3200 0,286 0,169 0,761 7,31
3328 0,378 0,135 0,878 8,11
3456 0,169 0,155 0,808 7,18
3584 0,529 0,200 0,663 5,68
3712 0,209 0,164 0,777 6,43
3840 0,484 0,156 0,803 6,43
3968 0,242 0,113 0,963 7,46
4096 0,367 0,150 0,825 6,19
4224 0,492 0,186 0,705 5,12
4352 0,386 0,123 0,925 6,53
4480 0,304 0,143 0,850 5,83
4608 0,259 0,130 0,899 5,99
4736 0,577 0,154 0,812 5,27
4864 0,471 0,157 0,801 5,06
4992 0,420 0,140 0,861 5,30
5120 0,500 0,104 0,999 5,99



Rys. 2. Wspczynnik ITR w zalenoci od szerokoci okna

Tabela 2. Wpyw sposobu przesuwania okna na wyniki klasyfikacji
oraz wspczynnik ITR
Przesuwanie
okna
Bd
LDA
Bd
KNN
B ITR [bit/min]
32 0,310 0,312 0,378 11,33
64 0,313 0,305 0,392 11,75
96 0,316 0,313 0,374 11,23
128 0,315 0,270 0,474 14,22
160 0,323 0,279 0,452 13,55
192 0,307 0,314 0,374 11,21
224 0,308 0,288 0,431 12,94
256 0,330 0,275 0,462 13,85
288 0,304 0,328 0,345 10,34
320 0,327 0,274 0,463 13,89
352 0,345 0,261 0,496 14,88
384 0,307 0,313 0,375 11,24
416 0,308 0,301 0,401 12,02
448 0,305 0,276 0,460 13,79
144 PRZEGLD ELEKTROTECHNICZNY (Electrical Review), ISSN 0033-2097, R. 87 NR 9a/2011
480 0,308 0,285 0,439 13,16
512 0,312 0,333 0,333 10,00
544 0,317 0,313 0,376 11,29
576 0,322 0,318 0,366 10,97
608 0,295 0,310 0,382 11,45
640 0,316 0,316 0,369 11,08
672 0,324 0,352 0,298 8,93
704 0,347 0,243 0,543 16,28
736 0,327 0,370 0,265 7,94
768 0,365 0,358 0,285 8,55
800 0,362 0,316 0,369 11,08
832 0,322 0,315 0,371 11,13
864 0,326 0,326 0,348 10,43
896 0,299 0,255 0,510 15,29
928 0,311 0,326 0,349 10,46
960 0,283 0,323 0,355 10,64
992 0,325 0,390 0,230 6,89
1024 0,378 0,353 0,295 8,86



Rys. 3. Wspczynnik ITR w zalenoci od sposobu przesuwania
okna

Wnioski
Otrzymane wyniki pokazuj jak szeroko okna
czasowego wpywa na bd klasyfikacji oraz ITR (tab.1 oraz
rys.2). Cho ITR jest tylko pewn miar porwnawcz
jakoci interfejsw to jego maksymalizacja pozwala na
przypieszenie przekazania intencji maszynie. Podczas
przeprowadzonych bada przedstawiono wyniki tylko dla
pierwszego uytkownika jednak podobne bdy i trendy
pojawiay si dla kadego z uytkownikw. Podczas
przeprowadzonych bada okazao si, e najwikszy ITR w
bitach na minut otrzymuje si dla okien o najmniejszej
szerokoci, pomimo tego, e bd klasyfikacji by
stosunkowo duy. Na takie wyniki ma niewtpliwie wpyw
czas trwania okna, im wzsze okno, tym wicej moliwych
wyborw w jednostce czasu. Zatem wydaje si by
sensowne stosowanie krtszych okien czasowych nawet
kosztem jakoci klasyfikacji. Naley jednak pamita, e
podczas przeprowadzania eksperymentu uytkownicy w
niektrych przypadkach wyobraali sobie zadania przez
czas duszy ni czas trwania okna, zatem wyniki
rzeczywiste mog si rni. Ponadto naley wzi pod
uwag, e uytkownicy mog mie trudnoci z szybkim
wyobraaniem sobie nowych zada.
Eksperymenty dotyczce sposobu nakadania okien nie
pozwalaj wysnu jednoznacznych wnioskw. Nie
zaobserwowano znaczcego trendu bdu klasyfikacji
zalenego od stopnia nakadania okien (rys.3). Podczas
testowania klasyfikatora testem krzyowym 10-krotnym
wiksze nakadania okien znacznie poprawiao jako
klasyfikacji jednak nie przekadao si to na bd klasyfikacji
dla nowych danych. Oczywicie naley pamita, e
zarwno wynik klasyfikacji jak i ITR obliczane byy dla
stosunkowo prostej cechy jak jest pierwiastek z wariancji
sygnau.
redni bd dla wszystkich szerokoci okien podczas
testowania klasyfikatorw wynosi 0.338 dla klasyfikatora
LDA oraz 0.237 dla klasyfikatora KNN. Dlatego mona
stwierdzi, e klasyfikator KNN lepiej nadaje si do
klasyfikacji cech zapisanych jako pierwiastek wariancji
sygnau.

Rys. 4. Wykres obrazujcy bd klasyfikacji dla klasyfikatora LDA w
zalenoci od szerokoci okna

Rys. 5. Wykres obrazujcy bd klasyfikacji dla klasyfikatora KNN w
zalenoci od szerokoci okna

LITERATURA
[1] Gr ai mann B., Al l i son B., Pf ur t schel l er G., Brain-Compu-
ter Interfaces: Non-Invasive and Invasive Technologies (2010)
[2] Mi l l n J. del R., On the need for on-line learning in brain-
computer interfaces Proc. Int. Joint Conf. on Neural Networks.,
(2004)
[3] Wol paw J. R, Bi r baumer N. Heet der ks ,W J.,
McFar l and D J., Hunt er Peckham P., Schal k G.,
Donchi n E., Quat r ano L. A., Robi nson C. J., Vaughan
T. M., BrainComputer Interface Technology: A Review of the
First International Meeting, IEEE Transactions On
Rehabilitation Engineering, Vol. 8, No. 2, June (2000)
[4] McFar l and D. J., Sar nacki W. A., Wol paw J. R., Brain-
computer interface (BCI) operation: optimizing information
transfer rates, Biological Psychology 63, (2003)
[5] Ko odzi ej M., Rak R., Zastosowanie analizy
czstotliwociowej sygnau EEG w interfejsach mzg-
komputer. Przegld Elektrotechniczny (2008)

Autorzy: prof. dr hab. in. Remigiusz J. Rak, e-mail:
rakrem@iem.pw.edu.pl; dr in. Andrzej Majkowski, e-mail:
amajk@iem.pw.edu.pl; mgr in. Marcin Koodziej, e-mail:
kolodzim@iem.pw.edu.pl Politechnika Warszawska, Instytut
Elektrotechniki Teoretycznej i Systemw Informacyjno-
Pomiarowych, ul. Koszykowa 75, 00-661 Warszawa