Materia dla studentw

Wprowadzenie do modeli ARMA/ARIMA

(na przykadzie zwrotw z instrumentw finansowych)

(studium przypadku)







Nazwa przedmiotu: ekonometria finansowa I (22204), analiza szeregw czasowych i
prognozowanie (13201);

Kierunek studiw: Finanse i rachunkowo, Metody ilociowe w ekonomii i systemy
informacyjne
Studia I stopnia/studia II stopnia

Opracowaa:
dr hab. Ewa M. Syczewska, Instytut Ekonometrii, Kolegium Analiz Ekonomicznych SGH



Warszawa, 2011
2
I. Informacje wstpne
Geneza modeli autoregresji i redniej ruchomej (AR, MA oraz ARMA) siga metod
stosowanych przez inynierw. Monografia Boxa i Jenkinsa
1
wydana w latach 70-tych XX w.
stanowi kompendium wiedzy o metodach modelowania szeregw czasowych, m.in. przy
uyciu tego typu modeli. Modele ARMA nale do najbardziej efektywnych metod
prognozowania szeregw czasowych. Mona je stosowa do szeregw jednowymiarowych,
stacjonarnych, a otrzymywane prognozy s krtkookresowe.
Model ARMA jest narzdziem prognozowania, moe by rwnie podstaw
konstrukcji modeli ARCH/GARCH: jeli wykorzystamy go jako pierwsze rwnanie opisujce
zachowanie szeregu, i uzupenimy o rwnanie wyraajce zmienn wariancj szeregu.
Aby zastosowa model do danego szeregu obserwacji zmiennej ekonomicznej, naley
najpierw sprawdzi jej stacjonarno i ewentualnie sprowadzi do zmiennej stacjonarnej
metod obliczania przyrostw. Dla niestacjonarnych zmiennych finansowych takich jak
notowania akcji, indeksw giedowych, kursw walutowych czsto zamiast przyrostw
stosuje si przyrosty logarytmw (zwroty logarytmiczne), gdy s interpretowane jako zwroty
z jednodniowej hipotetycznej inwestycji w dany instrument.
Zwroty logarytmiczne s zmienn stacjonarn, mona do nich dopasowa odpowiedni
model ARMA, nastpnie naley przetestowa wystpowanie efektu ARCH, i ewentualnie
uzupeni model o drugie rwnanie dla warunkowej wariancji.
wiczenie polegajce na wyszukaniu najlepszej wersji modelu ARMA dla danego
szeregu zwrotw zmiennej finansowej bdzie przeprowadzone przy uyciu pakietu gretl.
Oprcz narzdzi takich jak test niestacjonarnoci ADF, korelogram, model regresji liniowej
szacowany metod najmniejszych kwadratw, pakiet ten zawiera zestaw metod modelowania
szeregw czasowych, w tym model ARMA/ARIMA. Model taki szacowany jest metod
najwikszej wiarygodnoci przy zaoeniu normalnoci rozkadu skadnika losowego.

Przypomnimy teraz potrzebne pojcia i wzory.
1. Funkcja autokorelacji i autokorelacji czstkowej z prby:
Nieznana warto oczekiwana i wariancja stacjonarnego procesu moe by szacowana
na podstawie wzorw: .
Ocena wspczynnika korelacji zmiennych jest rwna
, k=1,2,; T liczba obserwacji.
Wspczynniki korelacji z prby tworz funkcj autokorelacji z prby, ACF (ang.
autocorrelation function). Wspczynnik korelacji wikszy co do moduu od 2
jest statystycznie istotny.
Wspczynniki korelacji czstkowej mierzy korelacj zmiennych bez
wpywu korelacji zmiennych porednich. Wyznaczany jest na podstawie regresji
zmiennej wzgldem jej opnie do rzdu k wcznie, ocena parametru przy zmiennej
opnionej o k jest rwna ocenie wspczynnika korelacji czstkowej rzdu k.

1
Box, G.E.P., G.M. Jenkins, Time Series Analysis: Forecasting and Control, San Francisco: Holden Day, 1976.
3
Wspczynniki korelacji czstkowej tworz funkcj autokorelacji czstkowej z prby
(ang. partial autocorrelation function, PACF).
2. Test Boxa-Piercea i Ljung-Boxa
2
,
3

W celu sprawdzenia cznej istotnoci wspczynnikw korelacji mona zastosowa
test Boxa-Piercea lub lepiej Ljung-Boxa. Przy zaoeniu, e szereg jest procesem
biaego szumu, Box i Pierce pokazali, e statystyka ma rozkad
asymptotyczny o k stopniach swobody. Lepiej funkcjonuje statystyka
zmodyfikowana przez Ljung i Boxa:

rwnie o asymptotycznym rozkadzie .

3. Model autoregresji, model redniej ruchomej, model ARMA
W modelu autoregresji wartoci zmiennej s objaniane jej opnionymi wartociami.
Jest to model jednorwnaniowy, dynamiczny i symptomatyczny, postaci:
czyli
(1 , gdzie L oznacza operator opnie.
Wielomian = A(L) okrela wasnoci szeregu. Jeli jest
podzielny przez (1L)= , to szereg jest niestacjonarny z powodu wystpowania
pierwiastka jednostkowego.
Model redniej ruchomej , MA (ang. moving average) wyraa wartoci zmiennej jako
funkcj opnionych wartoci (stacjonarnego) skadnika losowego:
czyli .
Poczeniem tych dwch skadowych jest model mieszany ARMA:
rzdu p,q.
Model AR mona oszacowa metod najmniejszych kwadratw, model MA oraz
mieszany metod najwikszej wiarygodnoci.




2
Box, G.E.P. i Pierce, D.A. (1970), Distribution of Residual Autocorrelations in Autoregressive Moving
Average Time Series Models, Journal of the American Statistical Association, 65, 1509-1526.
3
Ljung, G.M. i Box, G.E.P. (1978), On a Measure of Lack of Fit in Time Series Models, Biometrika, 65, 297-
303.
4
4. Kryteria informacyjne
Do porwnywania wariantw modeli i do wyboru najlepszego z nich mona
wykorzysta kryteria informacyjne: Akaike, Schwarza i Hannana-Quinna.
4
,
5
,
6

Spord rnych wariantw modeli objaniajcych t sam zmienn wybieramy ten,
dla ktrego wybrane kryterium ma najmniejsz warto.
Dla modeli ARMA(p,q) kryteria maj posta:
a) Kryterium Akaike:
b) Kryterium Schwarza:
c) Kryterium Hannana-Quinna: ,
gdzie T oznacza liczb obserwacji wykorzystanych do estymacji modelu, a
oznacza estymator wariancji dla metody najwikszej wiarygodnoci.
5. Metodologia Boxa i Jenkinsa
Metodologia Boxa i Jenkinsa polega na porwnaniu funkcji ACF i PACF dla
badanego szeregu stacjonarnego z postaciami tych funkcji dla modeli AR(p), MA(q)
itp. o znanej liczbie parametrw.
Teoretyczny model AR(p) ma funkcj PACF rwn zeru dla opnie
wikszych ni p (tzn. wspczynniki autokorelacji czstkowej dla opnie wikszych
ni p s nieistotne). Funkcja ACF maleje (jeli tempo zmniejszania si
wspczynnikw przy wzrocie liczby opnie jest powolne, moe to sugerowa e
szereg jest niestacjonarny). Teoretyczny model MA(q) ma funkcj ACF rwn zeru
dla opnie wikszych ni q, natomiast funkcja PACF jest malejca (MA jako suma
skadnikw stacjonarnych jest stacjonarne).
Model mieszany ARMA(p.q) ma funkcj ACF podobn do funkcji dla procesu
AR(p) ale od miejsca qp, za funkcja PACF dla k > pq zachowuje si jak funkcja
dla procesu MA(q).
Jeli porwnamy zachowanie funkcji ACF i PACF dla naszego szeregu
z teoretycznymi funkcjami dla rnych wariantw p, q, moemy oszacowa ten
wariant, ktry wydaje si najlepszy, nastpnie sprawdzi zachowanie reszt
oszacowanego modelu (powinny nie wykazywa autokorelacji, tzn. wspczynniki
ACF nieistotne, co mona sprawdzi rwnie np. testem Ljung-Boxa).

4
Akaike, H. (1974), A New Look at the Statistical Model Identification, I.E.E.E. Transactions on Automatic
Control, 19, 716-723.
5
Schwarz, G. (1978), Estimating the Dimension of a Model, Annals of Statistics, 6, 461-464.
6
Hannan, E.J. i B.G. Quinn (1979), The Determination of the Order of an Autoregression, Journal of the Royal
Statistical Society, B, 41, 190-195.
5
6. Redukcja modelu od maksymalnego (P,Q).
Mona wybra maksymalne moliwe dla danego szeregu wartoci P i Q, a nastpnie
szacowa wszystkie warianty ARMA(p,q) dla , wybra wariant
modelu minimalizujcy warto kryterium informacyjnego.

II. Harmonogram/scenariusz realizacji/kolejno dziaa
1. Studenci oceniaj i analizuj cechy charakterystyczne wybranych szeregw
czasowych obserwacji zmiennych oraz ich przyrostw, sporzdzaj wykresy funkcji
autokorelacji i autokorelacji czstkowej dla zmiennych oraz formuuj wstpne
wnioski co do jakociowych cech tych wykresw.
2. Analiza istotnoci wspczynnikw korelacji i korelacji czstkowej dla
poszczeglnych zmiennych na podstawie wykresw oraz przy wykorzystaniu testu
Ljung-Boxa. Studenci porwnuj wyniki otrzymane dla zmiennych rnego typu.
3. Na podstawie wykresw funkcji ACF i PACF naley zaproponowa maksymaln
moliw liczb opnie P oraz Q w czci AR i MA proponowanego modelu
dla zmiennej lub dla jej przyrostw (a w przypadku zmiennych finansowych
dla zwrotw logarytmicznych).
4. Estymacja kilku wariantw modeli ARMA(p,q) dla liczby opnie p nie
przekraczajcej P oraz liczby opnie q nie przekraczajcej Q. Naley zwrci
uwag na:
a. Istotno parametrw przy zmiennych opnionych
b. Pierwiastki wielomianw A(L) oraz B(L) czy s co do moduu wiksze od 1,
co zapewnia odpowiednie wasnoci tych wielomianw oraz caego procesu
ARMA
c. Wartoci kryteriw informacyjnych Akaike, Schwarza i Hannana-Quinna
dla poszczeglnych wariantw modeli.
5. Metoda postpowania polega na wybraniu modelu ARMA(p.q) dla szeregu
(ewentualnie dla rnic szeregu, lub dla zwrotw logarytmicznych w przypadku
szeregu finansowego) na podstawie ACF i PACF z prby.
a) Jeli funkcja PACF ma na pocztku istotne skadniki, a potem ucicie dla jakiej
wartoci p, a autokorelacja dla pierwszego opnienia jest dodatnia, dodajemy
skadniki autoregresyjne. Miejsce ucicia odpowiada rzdowi modelu AR.
b) Jeli funkcja ACF ma na pocztku istotne skadniki, a potem ucicie dla jakiej
wartoci q, i/lub autokorelacja rzdu pierwszego jest ujemna, naley wprowadzi
skadniki czci MA do rzdu wskazanego przez ucicie.
c) W modelu mieszanym AR i MA mog wpywa na siebie nawzajem.
6. Studenci formuuj wnioski co do wyboru najlepszego z kilku wybranych wariantw
modelu ARMA, zapisuj posta oszacowan modelu.
7. Dodatkowym elementem dla zmiennych finansowych (tzn. dla zwrotw
logarytmicznych) jest sprawdzenie, czy dla reszt oszacowanego modelu wystpuje
efekt ARCH grupowania wariancji. Mona w tym celu zastosowa test Englea.
6
8. Moderator przedstawia wyniki analogicznej procedury wyboru modelu ARMA
na podstawie metodologii Boxa i Jenkinsa oraz kryteriw informacyjnych
dla omawianych na pocztku zmiennych (WIG, kursy walutowe itp.)
9. Studenci przedstawiaj wyniki otrzymane dla badanych przez siebie zmiennych,
porwnuj warianty modeli w zalenoci od rodzaju danych, czstotliwoci
obserwacji, dugoci szeregu czasowego i cech badanej zmiennej.
III. Opis przypadku/sytuacji

Przygotowany jest przykadowy zbir danych (podczas testowania kejsu: plik z danymi
dla indeksw SP500 oraz WIG20, dane dzienne, notowania zamknicia, oraz dla kursw
walutowych USD/PLN, EUR/PLN).
Naley wyznaczy zwroty logarytmiczne poprzez dodanie odpowiednich zmiennych
do bazy danych odpowiednim poleceniem w gretl. (W razie potrzeby, jeli nie sprawdzono
tego na poprzednich zajciach, naley sprawdzi czy zmienna jest stacjonarna/niestacjonarna,
czy zwroty logarytmiczne s stacjonarne, np. testem ADF.)
Celem jest wybr i oszacowanie modelu ARMA dla zwrotw logarytmicznych/
dla przyrostw zmiennej makroekonomicznej.

W gretl estymacja modelu ARMA/ARIMA wywoywana jest odpowiednim poleceniem z
menu Modele-> Modele szeregw czasowych -> ARMA

A. Jakie jest zachowanie zmiennej? Zachowanie jej przyrostw lub zwrotw
logarytmicznych? Opisa pokrtce cechy jakociowe badanego szeregu.

Polecenie Zmienna Korelogram powoduje wyznaczenie zarwno wykresu supkowego
funkcji ACF i PACF, jak i tabeli zawierajcej w kolejnych kolumnach wspczynniki
autokorelacji, korelacji czstkowej, i w ostatniej kolumnie wartoci statystyki Q(k),
k=1,2,


B. Jaki jest wygld wykresu ACF? Czy sugeruje powolne wygasanie wartoci
wspczynnikw? Czy ucicie po kilku pierwszych skadnikach?
C. Jaki jest wygld wykresu PACF?
D. Co mona sdzi o postaci modelu ARMA na podstawie funkcji ACF i PACF?

Wariant: Studenci mog podzieli si na dwie grupy: pierwsza przyjmuje maksymalny rzd
opnie P i Q, nastpnie szacuje modele ARMA(p,q) o nie wikszej od (P,Q) liczbie
opnie, porwnujc wartoci kryteriw informacyjnych. Dla ostatecznie wybranego
modelu bada wasnoci reszt, ACF i test Q dla reszt.
Druga grupa startuje od modelu ARMA(p.q) o niewielkiej liczbie opnie, sprawdza
zachowanie reszt modelu, na podstawie wykresw ACF i PACF dla reszt ewentualnie
poszerza zestaw opnie czci AR i MA, nastpnie sprawdza wasnoci reszt itd.

7
E. Jaka jest zaproponowana posta modelu? Czy wygld wykresw ACF i PACF dla
reszt modelu wiadcz o dobrym doborze postaci ARMA?

Dla wybranego modelu trzeba sprawdzi, czy jest stabilny i odwracalny w gretl w oknie
z wynikami estymacji modelu ARMA podane s oprcz ocen parametrw, bdw szacunku
itp. rwnie wartoci pierwiastkw wielomianw A(L) i B(L). Jeli w czci AR wystpuje
pierwiastek rwny 1 (cz rzeczywista = 1, cz urojona =0), oznacza to, e szereg by
niestacjonarny (wtedy procedura estymacji moe nie osign zbienoci) i naleao jeszcze
raz policzy przyrosty. Jeli pierwiastki s mniejsze co do moduu od 1, proces jest
stacjonarny a model powinien mie dobre wasnoci.
Dodatkowo dla zmiennych finansowych, charakteryzujcych si zmiennoci wariancji,
trzeba sprawdzi czy nie wystpuje efekt ARCH (grupowania wariancji). W pakiecie gretl
a) W oknie z wynikami estymacji modelu ARMA wybieramy zapisywanie reszt,
nastpnie dla kwadratw reszt szacujemy ich regresj wzgldem wyrazu wolnego
i kwadratw reszt opnionych. Testem F sprawdzamy czn istotno opnionych
kwadratw reszt. Hipoteza zerowa o braku istotnoci oznacza brak efektu ARCH.
b) Szybszy sposb: w oknie z wynikami estymacji wybieramy: Testowanie Efekt
ARCH.
(Taka wersja testu nazywa si testem Englea efektu ARCH.)
7


F. Czy reszty wybranego modelu ARMA cechuje zmienno wariancji (efekt grupowania
wariancji, efekt ARCH)? Jeli tak, model ARMA bdzie rwnaniem dla redniej, ktre
uzupenia si o rwnanie dla wariancji, tworzc model ARCH.

IV. Wymagane rezultaty pracy i ich forma

Rezultatem pracy bdzie krtki (kilkustronicowy) raport z opisem procedury budowy modelu,
zawierajcy odpowiedzi na punkty A.F.



7
Engle, R.F. (1988), Autoregressive Conditional Heteroscedasticity with Estimates of the Variance of United
Kingdom Inflation, Econometrica, 96, 1988, 893920.