M Stanek-Predykcja Danych W Szeregach Czasowych

Predykcja danych w szeregach czasowych 1/42
Predykcja danych w szeregach

czasowych
na przykładzie predykcji cen akcji giełdowych spółki
KGHM Polska Miedź S.A.
Piotr Kupczyk (pkk@wp.pl)

Michał Stanek (michal.stanek@student.pwr.wroc.pl)
13 czerwca 2005
Abstract:
Prognozowanie przyszłych wartości akcji giełdowych jest marzeniem wielu
osób. Artykuł przedstawia wykorzystanie hybrydowego rozwiązania
bazującego na sieciach neuronowych oraz analizie statystycznej podczas
predykcji danych w szeregach czasowych na przykładzie predykcji cen
akcji KGHM Polska Miedź S.A. W dokumencie zostały szczegółowo
omówione dwie architektury sieci neuronowych jedna bazująca na
znakowej reprezentacji wartości funkcji druga bazująca na jej wartościach
rzeczywistych. Na koniec omówiono rozwiązanie hybrydowe łączące
moŜliwości tych sieci z predykcją opartą na funkcji regresji. Zostały
omówione otrzymane wyniki oraz przedstawione moŜliwe ulepszenia.
Spis treści:
1. Wstęp.............................................................................................................................. 6
2. Dane ............................................................................................................................... 7
3. Predykcja ...................................................................................................................... 11
4. Metody predykcji ......................................................................................................... 13
Sieć neuronowa numeryczna............................................................................................ 13
Sieć neuronowa znakowa ................................................................................................. 15
Regresja ............................................................................................................................ 17
5. Eksperymenty............................................................................................................... 18
1. Badanie..................................................................................................................... 18
6. Wnioski ........................................................................................................................ 41
7. Literatura ...................................................................................................................... 42
Spis tabel:
Tabela 1. Dane giełdowe dla akcji spółki KGHM. .................................................................... 7
Tabela 2. Dane po preprocessingu. ............................................................................................ 7
Tabela 3. Błąd predykcji sieci liczbowej dla zbioru uczącego. ............................................... 19
Tabela 4. Liczba epok uczących sieci numerycznej dla zbioru testowego. ............................. 19
Spis rysunków:
Rysunek 1. Dane giełdowe spółki KGHM................................................................................. 8
Rysunek 2. Wykres funkcji liniowej. ......................................................................................... 9
Rysunek 3. Wykres funkcji kwadratowej................................................................................... 9
Rysunek 4. Funkcja okresowa sin(x) + a ................................................................................. 10
Rysunek 5. Funkcja okresowa sin(x) + x ................................................................................ 10
Rysunek 6. Związek pomiędzy wartościami funkcji predykowanymi i rzeczywistymi. ......... 11
Rysunek 7. Idea predykcji krótko okresowej. .......................................................................... 12
Rysunek 8. Idea predykcji długo okresowej. ........................................................................... 12
Rysunek 9. Schemat blokowy hybrydy.................................................................................... 13
Rysunek 10. Schemat sieci numerycznej. ................................................................................ 14
Rysunek 11. Schemat konwersji danych dla sieci znakowej. .................................................. 15
Rysunek 12. Budowa sieci znakowej. ...................................................................................... 16
Rysunek 13. Przykład przybliŜenia funkcji wielomianem drugiego stopnia. .......................... 17
Rysunek 14. Przykład przybliŜenia funkcji wielomianem trzeciego stopnia........................... 17
Rysunek 15. Przykład przybliŜenia funkcji wielomianem czwartego stopnia......................... 17
Rysunek 16. Przykład przybliŜenia funkcji wielomianem piątego stopnia.............................. 17
Rysunek 17.Przykład przybliŜenia funkcji wielomianem szóstego stopnia. ........................... 17
Rysunek 18. Wykres zaleŜności błędu sieci numerycznej od ilości epok uczących................ 18
Rysunek 19. Wykres zaleŜności błędu sieci znakowej od ilości epok uczących. .................... 18
Rysunek 20. Funkcja linowa. ................................................................................................... 21
Rysunek 21. Predykcja na zbiorze uczącym. ........................................................................... 21
Rysunek 22. Predykcja krokowa na zbiorze testowym............................................................ 22
Rysunek 23. Predykcja ciągła na zbiorze testowym. ............................................................... 22
Rysunek 25 Predykcja krokowa na zbiorze testowym............................................................. 22
Rysunek 26 Predykcja ciągła na zbiorze testowym. ................................................................ 22
Rysunek 31. Funkcja kwadratowa............................................................................................ 24
Rysunek 42. Funkcja sinusoidalna. .......................................................................................... 27
Rysunek 49. Funkcja sinusoidalno-malejąca. .......................................................................... 29
Rysunek 60. Funkcja notowań akcji firmy KGHM Polska Miedź S.A. .................................. 32
Rysunek 61. Predykcja na zbiorze uczącym. .......................Błąd! Nie zdefiniowano zakładki.
Rysunek 67. Predykcja na zbiorze uczącym. .......................Błąd! Nie zdefiniowano zakładki.
Rysunek 75. Predykcja krokowa na zbiorze testowym, ciągły w stosunku do zbioru uczącego.
.......................................................................................................................................... 37
Rysunek 76. Predykcja ciągła na zbiorze testowym, po okresie jednorocznej przerwy, w
stosunku do zbioru uczącego............................................................................................ 37
Rysunek 77. Okno główne programu - widok parametrów nauki. .......................................... 38
Rysunek 78. Okno główne programu - widok parametrów predykcji ..................................... 39
Rysunek 79. Okno główne programu - widok danych wyników. ............................................ 39
Rysunek 80. Okno główne programu - widok danych predykcji............................................. 40
1. Wstęp
Dokument ten poświęcony jest zagadnieniu predykcji danych w szeregach czasowych. Na
wstępie postaramy się wyjaśnić podstawowe pojęcia uŜywane zarówno w tytule jak i dalszej
części niniejszej pracy. Jednym z kluczowych pojęć jest predykcja danych, polega ona na
próbie przewidzenia t przyszłych wartości funkcji na podstawie n wcześniejszych wartości.
Drugim bardzo waŜnym pojęciem jest szereg czasowy, który jest ciągiem następujących po
sobie czasowo wartości. Szereg czasowy moŜe na przykład stanowić odczyt wskazań
urządzenia pomiarowego lub zestawienie cen akcji giełdowych danej spółki na giełdzie.
Predykcja cen akcji giełdowych jest niezmiernie interesująca dziedziną biorąc pod uwagę
korzyści, jakie moŜe przynieść dokładne prognozowanie kolejnych wartości cenowych. Na
podstawie tych prognoz moŜna podejmować decyzję czy dane akcje warto kupować w danej
chwili czy teŜ moŜe lepiej je sprzedać. Im predykcja jest bardziej dokładna tym lepiej moŜna
operować dysponowanymi przez nas pieniędzmi. Nic więc dziwnego, Ŝe prowadzi się wiele
prac na ten temat. Niestety wiele z rozwiązań nie jest publikowanych i stanowią one jedynie
część całych pakietów, których cena jest czasami niesamowicie wysoka.
Predykcja moŜe być krótko lub długookresowa. Predykcja krótko okresowa dotyczy
zazwyczaj predykcji kilku wartości w przód, podczas gdy predykcja długookresowa swoim
zasięgiem moŜe obejmować bardzo długie okresy. Przyjmuje się, Ŝe dla predykcji krótko
okresowych błąd szacowanych wartości z wartościami rzeczywistymi powinien być bardzo
mały. Podczas predykcji długookresowej tolerowana jest nawet znaczna rozbieŜność na rzecz
zachowania ogólnego trendu danych.
W dokumencie tym opisane jest wykorzystanie sieci neuronowych oraz metod regresji w
zadaniu predykcji danych. Metody te zostaną dokładnie scharakteryzowane w dalszej części
tej pracy.
2. Dane
Udało się uzyskać dane giełdowe spółki KGHM z lat 2001 – 2005, pobrane one zostały z
serwisu www.money.pl. Wśród wartości, jakimi dysponowaliśmy były:
• Cena otwarcia
• Cena minimalna w ciągu dnia
• Cena maksymalna w ciągu dnia
• Cena podczas zamknięcia giełdy
• Procentowa zmiana w stosunku do dnia poprzedniego
• Ilość sprzedanych akcji w ciągu dnia (wolumen)
W Tabela 1 znajduje się przykład formatu wykorzystywanych danych.
Tabela 1. Dane giełdowe dla akcji spółki KGHM.
Data Otw Min Max Zamkn Zmn.[%] Wolumen

2005-05-27 29,10 29,00 29,40 29,40 1,73 328848
2005-05-25 28,60 28,60 29,00 28,90 1,05 271585
2005-05-24 28,60 28,10 28,70 28,60 0,00 256392
2005-05-23 28,70 28,50 29,00 28,60 0,00 231664
2005-05-20 28,90 28,50 29,40 28,60 -1,38 549326
2005-05-19 28,90 28,50 29,00 29,00 2,11 1188384
2005-05-18 28,30 27,70 28,50 28,40 1,07 818496
2005-05-17 28,90 27,70 28,90 28,10 -1,75 702573
2005-05-16 29,00 28,20 29,00 28,60 -1,72 207168
s
Uznaliśmy, Ŝe interesująca z naszego punktu widzenia jest szczególnie wartość dotycząca
ceny akcji podczas zamknięcia giełdy. Posiadane przez nas dane zostały poddane wstępnemu
preprocessingowi, w którym usunęliśmy kolumny nie istotne z naszego punktu widzenia. W
Tabela 2 został pokazany widok danych po tym procesie.
Tabela 2. Dane po preprocessingu.
Data Zamkn
2005-05-27 29,40
2005-05-25 28,90
2005-05-24 28,60
2005-05-23 28,60
2005-05-20 28,60
2005-05-19 29,00
2005-05-18 28,40
2005-05-17 29,40
2005-05-16 28,90
Na Rysunek 1 przedstawiona jest zmiana wartości akcji w czasie.

Dane giełdowe spółki KGHM
45,00
40,00
35,00
30,00
Wartość akcji [zł]
25,00
20,00
15,00
10,00
5,00
0,00
2005-05-27
2005-04-18
2005-03-07
2005-01-27
2004-12-21
2004-11-12
2004-10-04
2004-08-26
2004-07-20
2004-06-11
2004-05-04
2004-03-23
2004-02-13
2004-01-07
2003-11-25
2003-10-16
2003-09-09
2003-07-31
2003-06-24
2003-05-15
2003-04-03
2003-02-25
2003-01-17
2002-12-05
2002-10-24
2002-09-17
2002-08-08
2002-07-01
2002-05-20
2002-04-09
2001-11-20
2001-07-30
2001-04-04
2000-08-11
1999-05-25
1999-03-29
1999-01-22
1998-11-09
Data [dni]
Rysunek 1. Dane giełdowe spółki KGHM.
PoniewaŜ nie widać w tych danych wyraźniej zaleŜności postanowiliśmy przebadać nasze
rozwiązanie równieŜ na innych danych wejściowych. Wybraliśmy do tego następujące
funkcje:
• Funkcja liniowa y = ax+b

• Funkcja kwadratowa y = ax2 + bx + c
• Funkcja okresowa y = sin(x) + a
• Funkcja okresowa y = sin(x) + x
PoniŜej znajdują się wykresy tych funkcji.

Predykcja danych w szeregach czasowych
Cena [zł] Cena [zł]
10000
12000
14000
100
200
300
400
500
600
700
800
900
2000
4000
6000
8000
0
2003-01-27
0
2002-04-16
2002-06-16 2003-03-27
2002-08-16
2003-05-27
2002-10-16
2003-07-27
2002-12-16
Rysunek 3. Wykres funkcji kwadratowej.
Funkcja kwadratowa y=ax^2+bx+c
Rysunek 2. Wykres funkcji liniowej.

2003-02-16 2003-09-27
Funkcja liniowa y=-ax+b

2003-04-16
2003-11-27
2003-06-16
2003-08-16 2004-01-27
Data [dni]
Data [dni]
2003-10-16 2004-03-27
2003-12-16
2004-05-27
2004-02-16
2004-04-16 2004-07-27
2004-06-16
2004-09-27
2004-08-16
2004-11-27
2004-10-16
2004-12-16 2005-01-27
2005-02-16
2005-03-27
2005-04-16
2005-05-27
9/42
Cena [zł] Cena [zł]
10,5
11,5
10,00
12,00
14,00
8,5
9,5
0,00
2,00
4,00
6,00
8,00
10
11
8
9
2002-04-16 2002-04-16
2002-06-16 2002-06-16
2002-08-16 2002-08-16
2002-10-16 2002-10-16
2002-12-16 2002-12-16
Rysunek 5. Funkcja okresowa sin(x) + x
Rysunek 4. Funkcja okresowa sin(x) + a

2003-02-16 2003-02-16
Funkcja okresowa y=sin(x)+a

2003-04-16 2003-04-16
Fukncja sin(x)+x
2003-06-16 2003-06-16
2003-08-16 2003-08-16
Data [dni]
Data [dni]
2003-10-16 2003-10-16
2003-12-16 2003-12-16
2004-02-16 2004-02-16
2004-04-16 2004-04-16
2004-06-16 2004-06-16
2004-08-16 2004-08-16
2004-10-16 2004-10-16
2004-12-16 2004-12-16
2005-02-16 2005-02-16
2005-04-16 2005-04-16
10/42
3. Predykcja
Jak wspominaliśmy juŜ we wstępie predykcja ma za zadanie oszacowanie wartości funkcji na
podstawie innych jej wartości. Predykcja w szeregach czasowych bazuje na wartościach z
przeszłości w celu próby oszacowania wartości w kolejnych punktach czasu. Jakość predykcji
mierzy się zazwyczaj jako średnie odchylenie wartości uzyskanych w poszczególnych
punktach od wartości rzeczywistych (oczekiwanych).
Weźmy pod uwagę przykładową funkcję przedstawioną na Rysunek 6, oraz pewne punkty
kontrolne t0, t1 oraz t2. Funkcja rzeczywista, czyli ta która próbujemy oszacować narysowana
jest linią ciągłą, zaś nasze oszacowanie na wykresie narysowane jest linią przerywaną. Z
rysunku łatwo moŜna zobaczyć, Ŝe znalezione oszacowanie róŜni się od funkcji jakiej
szukaliśmy.
Rysunek 6. Związek pomiędzy wartościami funkcji predykowanymi i rzeczywistymi.
Przyjęta przez nas miara jakości predykcji wyraŜona jest wzorem (1).
Błąd predykcji:
n
∑o z
−o
(1)
Err = i =1
n
Objaśnienie:
Err – całkowity błąd predykcji

o – wartość uzyskana z predykcji
oz – wartość oczekiwana
n – ilość elementów predykowanego zbioru
Predykcja krótko okresowa – jest to rodzaj predykcji, który na podstawie wartości z
przeszłości (okna) próbuje oszacować małą liczbę wartości w przyszłości. Podczas takiej
predykcji nacisk kładziony jest na minimalizacje błędu predykcji. Podczas predykcji kaŜdej
wartości wykorzystuje się dane rzeczywiste. W przypadku naszego programu byłaby to
sytuacja, w której prognozuje on cenę akcji na następny dzień na podstawie wartości
poprzednich. Za kaŜdym razem do programu podawane są rzeczywiste wartości cen akcji z
dni poprzednich.Cena [zł]
Rysunek 7. Idea predykcji krótko okresowej.
Predykcja długo okresowa – to rodzaj predykcji który ma na celu prognozę trendu badanej
funkcji. Nacisk kładziony jest na zachowanie ogólnego charakteru funkcji, a niŜeli dokładne
przewidzenie przyszłych wartości. Predykcja taka dokonywana jest zazwyczaj poprzez
przesuwanie okna danych z jednoczesnym włączaniem do szeregu uczącego przewidzianych
wartości. Schemat ideowy takiego rozwiązania przedstawiony jest na Rysunek 8.
Rysunek 8. Idea predykcji długo okresowej.

4. Metody predykcji
W programie zostały zastosowane trzy metody predykcji. Dwie z nich wykorzystują sztuczną
sieć neuronową, trzecia natomiast opiera się na metodzie regresji wielomianowej dowolnego
stopnia. Rozwiązanie hybrydowe umoŜliwia wykorzystanie dowolnej kombinacji tych metod.
Na Rysunek 9 przedstawiony jest ideowy schemat pracy hybrydy z włączonymi wszystkimi
metodami predykcji.
Rysunek 9. Schemat blokowy hybrydy.
W dalszej części tego rozdziału zostanie dokładnie wyjaśnione kaŜde z tych rozwiązań.
Sieć neuronowa numeryczna
Jako pierwsze omówimy rozwiązanie bazujące na sieci neuronowej z propagacją wsteczną.

Nazwa „sieć numeryczna” została jej nadana ze względu na sposób pracy z danymi.
Sieć ta składa się przynajmniej z trzech warstw (Rysunek 10), pierwsza warstwa – wejściowa,
jest odpowiedzialna za pobieranie wartości funkcji. Liczność tej warstwy odpowiada
dokładnie szerokości okna danych. KaŜdy neuron pobiera wobec tego jedną wartość z okna i
przekazuje go do warstwy ukrytej.
Warstwa ukryta jest konfigurowalna w programie. MoŜemy określić ile neuronów będzie
wchodzić w jej skład. Dodatkowo mamy równieŜ moŜliwość określenia ilości tych warstw. W
literaturze podawane jest jednak najczęściej, Ŝe sieć taka powinna posiadać jedną warstwę
ukrytą o liczności równej ilości neuronów w warstwie wejściowej. W naszym programie
postanowiliśmy jednak sprawdzić jak zachowują się sieci z większą ilością warstw ukrytych
oraz z róŜna od wejściowej liczbą neuronów w nich zawartych.
Warstwa wyjściowa składa się zawsze z jednego neuronu, którego wartość na wyjściu
stanowi wynik działania sieci.
Wyjście – denormalizacja wartości
Warstwa wyjściowa
Warstwa ukryta 1 2 3 4 5 6 7 8
Warstwa wejściowa 1 2 3 4 5 6 7 8
Wejścia do sieci – normalizacja danych
Rysunek 10. Schemat sieci numerycznej.
Błąd działania sieci:

ilośl _ wyjsc
ilosc _ wzorców ∑ (o Z
− o) 2
(2)
Blad = ∑ i =0
i =1 ilosc _ wyjsc
Objaśnienie:
Blad –błąd pracy sieci neuronowej

o – wartość uzyskana na wyjściu z neuronu warstwy wyjściowej
oz – wartość oczekiwana na wyjściu neuronu
ilosc_wzorców – ilość wzorców danych
ilosc_wyjsc – ilość wyjść sieci neuronowej
Wartości dostarczane do warstwy wejściowej poddaje się normalizacji zgodnie z

następującym wzorem:
Normalizacja wartości wejściowej

xr − min
xs = (3)
max − min
Objaśnienie:
xs – wartość podawana na wejście sieci

xr – wartość rzeczywista przekazana na wejście
min – minimalna wartość w zbiorze danych
max – maksymalna wartość w zbiorze danych
Wyjście z sieci następnie poddawane jest procesowi denormalizacji:
xs = xr ⋅ (max − min) + min (4)
Objaśnienie:
xs – wartość podawana na wejście sieci

xr – wartość rzeczywista przekazana na wejście
min – minimalna wartość w zbiorze danych
max – maksymalna wartość w zbiorze danych
Do uczenia sieci zastosowany jest algorytm propagacji wstecznej. KaŜdy z neuronów

wchodzących w skład sieci ma dodatkowe wejście zwane biasem, które zawsze na wejściu ma
podawaną wartość 1. Jako funkcja aktywacji neuronu zastosowana została funkcja unipolarna.
Sieć neuronowa znakowa
Sieć znakowa w naszym programie to specyficzny rodzaj sieci, która na wejściu analizuje nie
wartości liczb a cyfry, z jakich one się składają. Efektem działania takiej sieci jest zatem
predykcja pewnego napisu, który w szczególności będzie liczbą. Przykład konwersji liczby
2.5 na wejścia sieci znakowej został pokazany na Rysunek 11.
Rysunek 11. Schemat konwersji danych dla sieci znakowej.
NaleŜy zwrócić uwagę, Ŝe dla ciągu liczb 2.5; 2.51; 4.321 naleŜy ujednolicić ich zapis. W
programie realizowane jest to dopisaniem tylu zer końcowych, aby długość kaŜdej liczby była
taka sama. Dla naszego przykładu po takiej konwersji uzyskalibyśmy liczby (a w zasadzie
napisy): 2.500 ; 2.510; 4.321
Budowa sieci znakowej jest następująca:
• Liczba neuronów w warstwie wejściowej – długość najdłuŜszej liczby (w postaci

napisu) * 4 * szerokość okna
• Liczba neuronów w warstwie ukrytej – 0.5 * ilość neuronów wejściowych
• Liczba neuronów wyjściowych – długość najdłuŜszej liczby z danych uczących (w
postaci napisu) * 4
Rysunek 12. Budowa sieci znakowej.
Liczba, 4 przez która przemnaŜana jest liczba neuronów warstwy wejściowej i wyjściowej,
wynika z faktu konwersji kaŜdej cyfry na postać binarną. PoniewaŜ musimy zakodować 10
cyfr oraz przecinek, potrzebnych jest naw w tym celu 11 wartości, a najbliŜsza potęgą dwójki
jest 4 (liczba 16).
KaŜdy neuron sieci znakowej zbudowany jest tak samo jak neuron sieci numerycznej. Błąd
sieci równieŜ liczony jest ze wzoru (2). Sieć uczona jest równieŜ algorytmem
BackPropagation.
Zdecydowaną róŜnicą, jaka cechuje sieć znakową i sieć liczbową poza sposobem interpretacji
danych wejściowych jest ilość neuronów, jaka wchodzi w ich skład.
Zastosowanie sieci znakowej wynikało z paru czynników. Pierwszy z nich polegał na chęci
przetestowania zastosowalności i przydatności takiego podejścia. Nigdzie w literaturze nie
spotkaliśmy się z podobnym rozwiązaniem, dlatego ciekawiło nas jakie rezultaty jesteśmy w
stanie osiągnąć z jego pomocą. Drugim powodem jaki przemawiał za zastosowaniem sieci
znakowej był fakt jej wraŜliwości nawet na bardzo małe zmiany wartości wejściowych.
Wystarczy, Ŝe weźmiemy taki przykład:
Zakres danych = 100

Wartość 1 = 45.500
Wartość 2 = 49.000
Wartość 3 = 45.506
Dla sieci numerycznej wartości 1 oraz 3 są w zasadzie nierozróŜnialne, podczas gdy w sieci
znakowej zmianie ulegnie wartość 3 neuronów.
demonstrują wpływ stopnia wielomianu na otrzymany wynik:
krzywej regresji do funkcji. PoniŜej przedstawionych jest kilka przykładów, które
bazowej. Wybranie stopnia wielomianu pozawala na mniejsze lub większe dopasowanie się
polega na minimalizacji średniego odchylenia krzywej aproksymującej prostą od funkcji
przypadku jest to krzywa wielomianowa, poprzez dostrajanie jej parametrów. Dostrajanie to
Regresja jest metodą, która polega na ustaleniu wzoru krzywej pewnego stopnia, w naszym
Regresja
10,00
15,00
20,00
25,00
30,00
35,00
40,00
45,00
0,00
5,00
10,00
15,00
20,00
25,00
30,00
35,00
40,00
45,00
0,00
5,00
2005-05-27
2005- 05-27
Rysunek 15. Przykład przybliŜenia funkcji

2005-04-19
2005- 04-19
2005-03-09
2005- 03-09
2005-02-01
2005- 02-01
2004-12-27
2004- 12-27
2004-11-19
2004- 11-19
wielomianem czwartego stopnia.

2004-10-12
wielomianem drugiego stopnia.

2004- 10-12
2004-09-06
2004- 09-06
2004-07-30
2004- 07-30
2004-06-24
2004- 06-24
2004-05-18
2004- 05-18
2004-04-07
2004- 04-07
2004-03-02
2004- 03-02
Rysunek 17.Przykład przybliŜenia funkcji wielomianem szóstego stopnia.

2004-01-26
2004- 01-26
2003-12-15
2003- 12-15
2003-11-06
2003- 11-06
2003-10-01
2003- 10-01
2003-08-26
2003- 08-26
2003-07-18
2003- 07-18
Data [dni]
Data [dni]
2003-06-11
2003- 06-11
2003-05-06
2003- 05-06
2003-03-26
2003- 03-26
2003-02-18
2003- 02-18
2003-01-13
2003- 01-13
2002-12-02
2002- 12-02
2002-10-22
2002- 10-22
2002-09-16
2002- 09-16
10,00
15,00
20,00
25,00
30,00
35,00
40,00
45,00
0,00
5,00
2002-08-08
2005- 05-27 2002- 08-08
2002-07-02
2005- 04-19 2002- 07-02
2002-05-22
2005- 03-09 2002- 05-22
2002-04-12
2005- 02-01 2002- 04-12
2001-12-14
2004- 12-27 2001- 12-14
2001-08-22
2004- 11-19 2001- 08-22
2001- 05-16 2001-05-16

2004- 10-12
2000-10-13
2004- 09-06 2000- 10-13
1999- 08-25 1999-08-25

2004- 07-30
1999- 04-26 1999-04-26
2004- 06-24
1999- 02-15 1999-02-15
2004- 05-18
1998- 12-02 1998-12-02
2004- 04-07
2004- 03-02

2004- 01-26
2003- 12-15
2003- 11-06
2003- 10-01
2003- 08-26
2003- 07-18
Data [dni]
2003- 06-11
2003- 05-06
2003- 03-26
2003- 02-18 Wartość akcji [zł]

10,00
15,00
20,00
25,00
30,00
35,00
40,00
45,00
2003- 01-13
0,00
5,00
10,00
15,00
20,00
25,00
30,00
35,00
40,00
45,00
0,00
5,00
2002- 12-02 2005- 05-27
2005- 05-27

2002- 10-22 2005- 04-19
2005- 04-19
2002- 09-16 2005- 03-09
2005- 03-09
2002- 08-08 2005- 02-01
2005- 02-01
2002- 07-02 2004- 12-27
2004- 12-27
2002- 05-22 2004- 11-19
2004- 11-19
wielomianem trzeciego stopnia.

2002- 04-12 2004- 10-12
2004- 10-12
wielomianem piątego stopnia.
2001- 12-14 2004- 09-06

2004- 09-06
2001- 08-22 2004- 07-30
2004- 07-30
2001- 05-16 2004- 06-24
2004- 06-24
2000- 10-13 2004- 05-18
2004- 05-18
1999- 08-25 2004- 04-07
2004- 04-07
1999- 04-26 2004- 03-02
2004- 03-02

2004- 01-26

1999- 02-15
2004- 01-26
1998- 12-02 2003- 12-15
2003- 12-15
2003- 11-06
2003- 11-06
2003- 10-01
2003- 10-01
2003- 08-26
2003- 08-26
2003- 07-18
2003- 07-18
Data [dni]
2003- 06-11
Data [dni]
2003- 06-11
2003- 05-06
2003- 05-06
2003- 03-26
2003- 03-26
2003- 02-18
2003- 02-18
2003- 01-13
2003- 01-13
2002- 12-02
2002- 12-02
2002- 10-22
2002- 10-22
2002- 09-16
2002- 09-16
2002- 08-08
2002- 08-08
2002- 07-02
2002- 07-02
2002- 05-22
2002- 05-22
2002- 04-12
2002- 04-12
2001- 12-14
2001- 12-14
2001- 08-22
2001- 08-22
2001- 05-16
2001- 05-16
2000- 10-13
2000- 10-13
1999- 08-25
1999- 08-25
1999- 04-26
1999- 04-26
1999- 02-15
1999- 02-15
1998- 12-02
1998- 12-02
17/42
5. Eksperymenty
1. Badanie błędu sieci podczas procesu uczenia
Pierwsze badanie miało na celu określenie zaleŜności pomiędzy wartością błędu sieci, a
długością procesu uczenia. Dla sieci numerycznej zaleŜność ta została przedstawiona na
Rysunek 18, a dla sieci znakowej, na Rysunek 19. Jak widać obie zaleŜności mają
charakter 1/x.
Uczenie sieci numerycznej
3,5
2,5
Wartość błędu
1,5
0,5
0
1 51 101 151 201 251 301 351
Ilość epok uczących
Rysunek 18. Wykres zaleŜności błędu sieci numerycznej od ilości epok uczących.
Błąd podczas uczenia sieci znakowej
4,5
3,5
3
Błąd sieci
2,5
1,5
0,5
0
1 26 51 76
Ilość epok
Rysunek 19. Wykres zaleŜności błędu sieci znakowej od ilości epok uczących.
2. Badanie wpływu parametrów uczenia na ilość epok uczących oraz błąd sieci.
Badanie polegało na sprawdzeniu wpływu parametrów uczenia takich jak: maksymalny

dopuszczalny błąd, współczynnik uczenia. Jak widać (Tabela 3. Błąd predykcji sieci
liczbowej dla zbioru uczącego.Tabela 3 i Tabela 4) zmniejszenie wartośći dopuszczalnego
błędu wpływa na polepszenie jakości otrzymywanych rozwiązań. JednakŜe związane jest to z
dodatkowym kosztem obliczeniowym, wynikającym z dłuŜszego procesu uczenia.
Tabela 3. Błąd predykcji sieci liczbowej dla zbioru uczącego.
Max_bład=0,1 Max_błąd=0,1 Max_błąd=0,01

L.p.
Wsp_uczenia=0.25 Wsp_uczenia=0.1 Wsp_uczenia=0.25
1 0,33944595 0,40188 0,119438

2 0,40685362 0,377126 0,087539
3 0,3211001 0,435145 0,139914
4 0,39504743 0,399811 0,178516
5 0,30614528 0,388575 0,166054
6 0,3702581 0,401558 0,100523
7 0,55567235 0,39477 0,119242
8 0,4061748 0,39934 0,393672
9 0,44178638 0,405562 0,096405
10 0,34696692 0,399018 0,212274
Średnia: 0,388945093 0,400279 0,161358
Tabela 4. Liczba epok uczących sieci numerycznej dla zbioru testowego.
Max_bład=0,1 Max_błąd=0,1 Max_błąd=0,01

L.p.
Wsp_uczenia=0.25 Wsp_uczenia=0.1 Wsp_uczenia=0.25
1 128 156 443

2 51 67 638
3 54 104 723
4 32 87 879
5 61 121 505
6 31 131 660
7 47 108 848
8 73 130 480
9 36 109 742
10 38 104 637
Średnia: 50,11363636 101,5545 595,9318

3. Predykcja funkcji
W celu porównania działania wykorzystanych metod, poddano predykcji następujące funkcje:

• funkcja liniowa
• funkcja kwadratowa
• funkcja sinusoidalna (sin(x) + a)
• funkcja sinusoidalna połączona z funkcja liniową (sin(x) + x)
• funkcja przedstawiająca notowania cen akcji firmy KGHM Polska Miedź S.A.
Proces testowania polegał na wyuczeniu sieci numerycznej i znakowej na wybranym

podzbiorze dziedziny funkcji, a następnie próbie predykcji wartości dla nieznanych dotąd
argumentów. W kolejnych punktach przedstawione są uzyskiwane rezultaty.
4. Predykcja funkcji liniowej
Badania predykcji funkcji liniowej przedstawionej na Rys.20, miało na celu określenie

zdolności systemu do wykrywania prostych zaleŜności między danymi.
Rysunek 20. Funkcja linowa.
Jako pierwszą zastosowaną metodę opartą na sieci numerycznej. Predykcję przeprowadzono

dla dwóch wartości dopuszczalnego błędu: 1.0 i 0.01. Jak wynika z Rysunek 21 i Rysunek 24,
obniŜenie progu błędu, pozwala na lepsze odwzorowanie funkcji, dla wartości wchodzących
w skład zbioru uczącego. Wpływa to jednak ujemnie na zdolność uogólniania (Rysunek 22 i
Rysunek 25). Akceptowalne rezultaty otrzymujemy jedynie dla predykcji krótkookresowej
(krokowej). Dla predykcji długookresowej kumulacja błędu jest tak duŜa, Ŝe wartości
predykowane nie zachowują nawet trendu funkcji bazowej (Rysunek 23 i Rysunek 26).
Predykcja z zastosowaniem sieci numerycznej (max. błąd = 1):
Rysunek 21. Predykcja na zbiorze uczącym.

Rysunek 22. Predykcja krokowa na zbiorze Rysunek 23. Predykcja ciągła na zbiorze testowym.
testowym.
Predykcja z zastosowaniem sieci numerycznej (max. błąd = 0.01):
Rysunek 25 Predykcja krokowa na zbiorze testowym. Rysunek 26 Predykcja ciągła na zbiorze testowym.
Drugi test został przeprowadzony na sieci znakowej (zasada działania opisana w poprzednim
punkcie). Uzyskane wyniki dla duŜego błędu (powyŜej 1) nie wykazują Ŝadnej (bardzo
znikomą) korelacji z funkcją bazową (Rysunek 27 i Rysunek 28). Dopiero zmniejszenie
dopuszczalnego błędu pozwoliło uzyskać akceptowalne wyniki dla zbioru uczącego. JednakŜe,
tak jak podejrzewaliśmy, sieć ta ma tendencję do uczenia się na pamięć, co moŜna
zaobserwować na Rysunek 29 i Rysunek 30.
Predykcja z zastosowaniem sieci znakowej (max. błąd = 1):
Rysunek 27. Predykcja na zbiorze uczącym. Rysunek 28. Predykcja krokowa na zbiorze testowym.
Predykcja z zastosowaniem sieci znakowej (max. błąd = 0.01)
5. Predykcja funkcji kwadratowej
Kolejny test przeprowadzony został dla funkcji kwadratowej, przedstawionej na Rysunek 31.
Badanie to ma na celu sprawdzenie zdolności uogólniania zaleŜności funkcyjnej. Badania
zostały przeprowadzone zarówno dla sieci numerycznej jak i sieci znakowej.
Rysunek 31. Funkcja kwadratowa.
Uzyskane wyniki są porównywalne z wynikami otrzymanymi w poprzednim badaniu. Po raz

kolejny swoja przewagę wykazała sieć numeryczna. Podczas testów potwierdziło się
poprzednie przypuszczenie, Ŝe dla małej dopuszczalnej wartości błędu sieci, uczy się ona na
pamięć. PoniŜej znajdują się otrzymane wyniki.

Rysunek 33. Predykcja krokowa na zbiorze testowym. Rysunek 34. Predykcja ciągła na zbiorze testowym.
Predykcja z zastosowaniem sieci numerycznej (max. błąd = 0.01)
Predykcja z zastosowaniem sieci znakowej (max. błąd = 1)
6. Predykcja funkcji okresowej – y=sin(x) + a
Kolejne testy przeprowadzone zostały dla funkcji okresowej w celu zbadania zdolności sieci
do uczenia się schematów. Na Rysunek 42 przestawiony jest wykres funkcji bazowej.
Rysunek 42. Funkcja sinusoidalna.

Podczas prowadzenia badań zaobserwowaliśmy, iŜ okresowość funkcji pozwala zmniejszyć
dopuszczalny błąd. W poprzednich badaniach zabieg ten dał negatywne efekty, których
przejawem była nauka wzorców na pamięć. W aktualnie testowanej funkcji cecha ta jest
poŜądana.

7. Predykcja funkcji okresowej – y=sin(x) + x
W celu zbadania zdolności uogólniania zaleŜności funkcyjnych przy jednoczesnym

wykorzystaniu faktu okresowości funkcji, badaniu poddaliśmy funkcję y=sin(x)+x. Wykres
funkcji znajduje się na Rysunek 49.
Rysunek 49. Funkcja sinusoidalno-malejąca.
Jak wykazują przeprowadzone badania sieć numeryczna z dobrym rezultatem potrafiła

odwzorować trend rozpatrywanej funkcji. Wysoka dokładność predykcji została uzyskana nie
tylko na wzorcach uczących, ale równieŜ na zbiorze testowym (Rysunek 54). Wyniki
predykcji długookresowej (ciągłej) pozostają nadal niezadowalające (Rysunek 52 i Rysunek
55).

Rysunek 52. Predykcja ciągła na zbiorze testowym.

Rysunek 51. Predykcja krokowa na zbiorze testowym.

Rysunek 54. Predykcja krokowa na zbiorze testowym.
Predykcja z zastosowaniem sieci znakowej (max. błąd = 0.01):
8. Predykcja danych giełdowych na przykładzie notowań akcji firmy KGHM

Polska Miedź S.A.
Najbardziej istotnym testem z punktu widzenia projektu było badanie zaproponowanego

rozwiązania na danych rzeczywistych. Wstępna analiza ciągu uczącego nie pozwalała nam
zakładać, Ŝe istnieją w nim jakiekolwiek zaleŜności funkcyjne (Rysunek 60).
Rysunek 60. Funkcja notowań akcji firmy KGHM Polska Miedź S.A.
Rysunek 61. Predykcja na zbiorze uczącym


Rysunek 62. Predykcja krokowa na zbiorze
testowym.
Dla duŜej wartości dopuszczalnego błędu, sieć numeryczna nie odwzorowuje funkcji bazowej.
Jest to związane z faktem bardzo małej róŜnicy pomiędzy kolejnymi wartościami w ciągu
uczącym (Rysunek 61, Rysunek 62 i Rysunek 63).


Rysunek 65. Predykcja krokowa na zbiorze testowym
Przy obniŜeniu wartości dopuszczalnego błędu, uzyskane rezultaty na ciągu testowym

wykazują niesamowite zdolności predykcji danych. Sieć potrafiła poprawnie predykować
wartości dla 4-miesięcznego okresu następującego po ciągu uczącym. Niemniej jednak
zdolność do predykcji długoterminowej nie uległa znacznej poprawie. Okres predykcji w tym
przypadku nie przekracza nawet tygodnia.
Rysunek 67. Predykcja na zbiorze uczącym


testowym.
Zaskakującym jest fakt, iŜ sieć znakowa wykazuje zdolność do wiernego odwzorowywania

tak złoŜonej funkcji. Wyniki uzyskane w tej części badań są dla nie duŜo lepsze, niŜ w
poprzednich testach. W pewnych sytuacjach jest ona lepsza niŜ sieć numeryczna.
Wytłumaczyć to moŜna faktem, iŜ w ciągu uczącym róŜnice pomiędzy kolejnymi elementami
są bardzo małe.
Predykcja z zastosowaniem sieci numerycznej i sieci znakowej (max. błąd = 0.01):

Rysunek 78. Predykcja ciągła na zbiorze testowym, po

okresie jednorocznej przerwy, w stosunku do zbioru
testowym, ciągłym w stosunku do zbioru uczącego.
uczącego.
Ostatnie badanie polegało na sprawdzeniu jakości predykcji dla danych testowych,

pochodzących z następujących po sobie lat. Jak moŜna zauwaŜyć dokładność działania sieci
maleje wraz z
6. Opis programu
PoniŜsze rysunki przedstawiają interfejs programu oraz jego podstawowe funkcje.
Okno z wykresem
wyników
Wybór metod
predykcji
Otrzymane krzywe Parametry sieci

predykcji numerycznej
Parametry regresji
wielomianowej
Parametry nauki sieci

neuronowych
Parametry zbiorów
uczących
Rozpoczęcie nauki
Rysunek 79. Okno główne programu - widok parametrów nauki.

Parametry dotyczące
zakresu predykcji
Parametry dotyczące
typu predykcji
Rozpoczęcie
predykcji
Uzyskane wartości z
predykcji
Rysunek 80. Okno główne programu - widok parametrów predykcji
Dane kontrolne gromadzone w procesie

nauki oraz predykcji
Rysunek 81. Okno główne programu - widok danych wyników.

Wartość predykcji
sieci znakowej
Wartość predykcji
dla metody regresji
Wartość rzeczywista
funkcji
Wartość predykcji
sieci numerycznej
Rysunek 82. Okno główne programu - widok danych predykcji.

7. Wnioski
Projekt dał nam moŜliwość zgłębienia wiedzy na temat predykcji i aproksymacji danych.
Postawiony przed nami rzeczywisty problem, pozwolił nam zastosować własne rozwiązanie
w postaci sieci znakowej. Podejście to nie było nigdzie opisane, dlatego z niecierpliwością
oczekiwaliśmy na pierwsze wyniki. W celu zwiększenia efektywności tej metody,
postanowiliśmy wspomóc ją innymi rozwiązaniami. Tworząc tym samym system hybrydowy.
Nie ogranicza to w Ŝaden sposób naszych moŜliwości związanych z konfiguracją
poszczególnych modułów.
W celu oceny otrzymanego rozwiązania, przeprowadzone zostały testy na wybranych

funkcjach o róŜnych charakterystykach. W dokumencie zamieszczone zostały wyniki
przeprowadzonych badań. Sieć numeryczna w znakomitej większości przypadków
wykazywała swoją przewagę nad innymi podejściami. Na jej korzyść przemawiają równieŜ:
prostota oraz powszechnie znany algorytm uczenia.
Zaproponowana przez nas sieć znakowa nie radziła sobie dobrze z funkcjami testowymi.
Jednak dla funkcji rzeczywistej (notowań akcji na giełdzie) spisywała się ona porównywalnie
lub w nielicznych przypadkach nawet lepiej niŜ sieć numeryczna. Efekt ten uzyskiwany był
jednak tylko na krótkich przedziałach czasowych, nieznacznie oddalonych od zbioru
uczącego.
W projekcie uŜytkownik ma równieŜ moŜliwość wykorzystania metod statystycznych, jaką

jest regresja wielomianowa.
Rozwiązanie nasze cechuje bardzo dobra zdolność predykcji krótkookresowej, która moŜe
być przydatna w rzeczywistych zastosowaniach, na przykład podczas gry na giełdzie. Wyniki
predykcji długoterminowej są niezadowalające, czego moŜna się było spodziewać ze względu
na kumulację błędów predykcji krótkookresowej, co w skali dłuŜszego okresu czasu
odbiegało znacznie od wartości rzeczywistych.
Projekt ten stanowił dla nas wyzwanie i pozwolił nam zgłębić nasza wiedzę w tej dziedzinie.
Literatura
Benjamin W. Wah, Minglun Qian „Constrained Formulations and Algorithms for Stock-Price
Predictions Using Recurrent FIR Neural Networks”
G. E. P. Box, G. M. Jenkins „Time Series Analysis: Forecasting and Control”
Józef Kalisz, Ryszard Pełka, Ryszard Szplet „Problemy projektowe w precyzyjnej metrologii
odcinków czasu”
Rayid Ghani, Hillery Simmons „Predicting the End-Price of Online Auctions”
Rick Martinelli „Market data prediction with adaptive kalman filter”
Jeffrey K. MacKie-Mason Anna Osepayshvili Daniel M. Reeves Michael P. Wellman „Price

Prediction Strategies for Market-Based Scheduling”
Ivakhnenko, A.G. „Recent Developments of Self-Organising Modeling in Prediction and

Analysis of Stock Market”
Foster „Commodities Futures Price Prediction An Artificial Intelligence Approach”

(presentation)
Sven F. „Crone Bussiness Forecasting with Artificial Neural Networks” (presentation)

M Stanek-Predykcja Danych W Szeregach Czasowych

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

M Stanek-Predykcja Danych W Szeregach Czasowych

Uploaded by

Copyright:

Available Formats

Predykcja danych w szeregach czasowych 1/42

Predykcja danych w szeregach

Piotr Kupczyk (pkk@wp.pl)

W Tabela 1 znajduje się przykład formatu wykorzystywanych danych.

Tabela 1. Dane giełdowe dla akcji spółki KGHM.

Data Otw Min Max Zamkn Zmn.[%] Wolumen

Tabela 2. Dane po preprocessingu.

Na Rysunek 1 przedstawiona jest zmiana wartości akcji w czasie.

Dane giełdowe spółki KGHM

Rysunek 1. Dane giełdowe spółki KGHM.

• Funkcja liniowa y = ax+b

PoniŜej znajdują się wykresy tych funkcji.

Funkcja kwadratowa y=ax^2+bx+c

Rysunek 2. Wykres funkcji liniowej.

Funkcja liniowa y=-ax+b

Rysunek 4. Funkcja okresowa sin(x) + a

Funkcja okresowa y=sin(x)+a

Rysunek 6. Związek pomiędzy wartościami funkcji predykowanymi i rzeczywistymi.

Err – całkowity błąd predykcji

Rysunek 7. Idea predykcji krótko okresowej.

Rysunek 8. Idea predykcji długo okresowej.

Rysunek 9. Schemat blokowy hybrydy.

Sieć neuronowa numeryczna

Jako pierwsze omówimy rozwiązanie bazujące na sieci neuronowej z propagacją wsteczną.

Wyjście – denormalizacja wartości

Wejścia do sieci – normalizacja danych

Rysunek 10. Schemat sieci numerycznej.

Błąd działania sieci:

Blad –błąd pracy sieci neuronowej

Wartości dostarczane do warstwy wejściowej poddaje się normalizacji zgodnie z

Normalizacja wartości wejściowej

xs – wartość podawana na wejście sieci

Wyjście z sieci następnie poddawane jest procesowi denormalizacji:

xs = xr ⋅ (max − min) + min (4)

xs – wartość podawana na wejście sieci

Do uczenia sieci zastosowany jest algorytm propagacji wstecznej. KaŜdy z neuronów

Sieć neuronowa znakowa

Rysunek 11. Schemat konwersji danych dla sieci znakowej.

Budowa sieci znakowej jest następująca:

• Liczba neuronów w warstwie wejściowej – długość najdłuŜszej liczby (w postaci

Rysunek 12. Budowa sieci znakowej.

Zakres danych = 100

Rysunek 15. Przykład przybliŜenia funkcji

Rysunek 13. Przykład przybliŜenia funkcji

wielomianem czwartego stopnia.

wielomianem drugiego stopnia.

Rysunek 17.Przykład przybliŜenia funkcji wielomianem szóstego stopnia.

Dane giełdowe spółki KGHM

2001- 05-16 2001-05-16

1999- 08-25 1999-08-25

Dane giełdowe spółki KGHM

2003- 02-18 Wartość akcji [zł]

Rysunek 16. Przykład przybliŜenia funkcji

Rysunek 14. Przykład przybliŜenia funkcji

wielomianem trzeciego stopnia.

2001- 12-14 2004- 09-06

Dane giełdowe spółki KGHM

Dane giełdowe spółki KGHM

Uczenie sieci numerycznej

Błąd podczas uczenia sieci znakowej

Badanie polegało na sprawdzeniu wpływu parametrów uczenia takich jak: maksymalny

Tabela 3. Błąd predykcji sieci liczbowej dla zbioru uczącego.

Max_bład=0,1 Max_błąd=0,1 Max_błąd=0,01