WYKAD 9

METODY ZMIENNEJ METRYKI

Kierunki sprzone.
Metoda Newtona Raphsona daje dobre przyblienie najlepszego kierunku poszukiwa,
lecz jest to okupione znacznym kosztem obliczeniowym zwykle posta analityczna hesjanu
nie jest znana, a numeryczna estymacja pochodnych kadorazowo grozi wprowadzeniem
znacznego bdu obliczeniowego. Istot tzw. metod zmiennej metryki jest wykorzystanie
posiadanych na kadym kroku informacji xk, xk+1,

f(xk),

f(xk+1) dla coraz lepszego

wyznaczania hesjanu bez potrzeby znajdowania jego skadnikw explicite. Poszukiwany jest
algorytm generujcy iteracyjnie uzupenienie [ Gk ] przybliajce macierz startow [ G1 ] do
odwrotnoci hesjanu [ H ]-1. W tym celu wprowadzono pojcie kierunkw sprzonych di, dj
wzgldem pewnej macierzy [ A ] definicyjnie okrelonych zalenoci
(9.1)
Jak wida pojcie A-sprzenia jest uoglnieniem pojcia ortogonalnoci podstawiajc za
[ A ] macierz identycznociow [ I ] otrzymujemy zwyky warunek ortogonalnoci dwch
kierunkw.
Uyteczno kierunkw sprzonych w zagadnieniach optymalizacyjnych wynika
z nastpujcych

twierdze

przytaczanych

tu

bez

dowodw,

ktre

mona

znale

w specjalistycznych monografiach :
TWIERDZENIE 1. Dla dowolnego cigu d1, d2, ...dn kierunkw sprzonych wzgldem
symetrycznej, dodatnio okrelonej macierzy [A] o rozmiarze n i dowolnego punktu
startowego x0 jest moliwe znalezienie minimum funkcji kwadratowej fQ
(9.2)
w co najwyej n krokach iteracyjnych prowadzc minimalizacj wzdu kadego kierunku di.
Twierdzenie to oznacza, e kada kolejna minimalizacja wzdu di (i=1, 2, ...n), znajduje
minimum fQ na podprzestrzeni definiowanej przez rosncy zbir A-ortogonalnych kierunkw.

Findeisen W., Szymanowski J.,Wierzbicki A.: Teoria i metody obliczeniowe optymalizacji, PWN Warszawa, 1980;
Aoki M.: Introduction to optimization techniques, Macmillan, New York, 1977

W celu okrelenia tego zbioru kierunkw wykorzystywany jest algorytm GramaSchmidta, w ktrym zwyky iloczyn skalarny zosta zastpiony przez iloczyn A-sprzony
(9.1). Jako zbir wyjciowych kierunkw D0 najprociej jest wykorzysta baz ei przestrzeni
euklidesowej, w ktrej zdefiniowano wektor zmiennych decyzyjnych

(9.3)

Zamy, e
(9.4)
poszukujemy skalara 21, takiego e kierunki d1 i d2 powizane zalenoci
(9.5)
s A-sprzone. Oznacza to, e zachodzi
(9.6)
Wynika std
(9.7)
Dla dowolnego kolejnego kierunku dk+1 mamy wic zaleno
(9.8)
gdzie wspczynniki kj wynosz
(9.7)

Mona wykaza, e znalezienie kolejnych minimw wzdu kierunkw di czyli przesunicia

xi+1 xi jest rwne
(9.8)
Iloraz iloczynw skalarnych w zalenoci (9.8) bdcy odlegoci do kolejnego
minimum w podprzestrzeni wyznacza si zwykle jedn z metod minimalizacji kierunkowej
2

(np. za pomoc aproksymacji parabolicznej). Zauwamy rwnie, e przypadku kiedy punkt

startowy jest odlegy od minimum, czyli gdy funkcja kwadratowa fQ(x) jest bliska formie
liniowej b, x i pozadiagonalne wspczynniki hesjanu Anj mog by pominite, to
algorytm Grama-Schmidta jako kierunki sprzone generuje ortogonalne kierunki bazy
euklidesowej e. Metoda kierunkw sprzonych staje si wtedy identyczna z metod
Gaussa-Seidela.
Zalet metody kierunkw sprzonych w stosunku do metody Newtona jest
wyeliminowanie koniecznoci odwracania hesjanu, tym niemniej sam hesjan musi by
obliczany przy tworzeniu zbioru kierunkw A-sprzonych. Warto w tym momencie
przedstawi ilustracj geometryczn tego pojcia. Zamy, ze funkcja celu fQ(x) jest
dwuwymiarowa a jej kolejne izolinie s dane rwnaniem
(9.9)
Zaleno (9.6) przedstawia zbir elips orodku w punkcie x=[0, 0]. Wyznaczajc
kolejno gradient i hesjan tej funkcji mamy
(9.10)

(9.11)
Odwrotno hesjanu [H]-1 wyznacza si elementarnie dla przypadku kiedy sam hesjan
ma struktur diagonaln
(9.12)
Jeeli przyjmiemy, e macierz [A] jest rwna [H]-1, to forma kwadratowa fQ(x1, x2) w
nowej metryce ma posta
(9.13)
co dla rozpatrywanej funkcji daje
(9.14)

Izolinie fQ(x1, x2) w tej metryce bd okrgami co pokazano na rys.9.1. Naley zwrci
uwag, e omwiona transformacja dotyczy take dowolnego pooenia elips funkcji
kwadratowej oraz e zmiana metryki nie zmienia pooenia minimum badanej funkcji.
x2
fQE2
x1
fQ[H]-1

Rys.9.1. Izolinie testowej funkcji kwadratowej w rnych metrykach

Algorytm kierunkw sprzonych Powella wykorzystujcy znajomo hesjanu [H(x0)] w
punkcie startowym x0 oraz wykorzystujcy jedynie wartoci minimalizowanej funkcji jest
nastpujcy:
1. Wyznacz Hesjan w punkcie x0 oraz H-sprzon baz wektorw d1 ...dn;
2. Podstaw k=1
3. Oblicz przemieszczenie k punktw o minimalnej funkcji celu fQ(x) wzdu kierunku dk
(9.15)
4. Sprawd kryterium zatrzymania, jeli nie jest spenione to id do p.5
5. Jeeli k<n to k=k+1 i wr do p.3, dla k=n x0=xn i wr do p.1.

Algorytmy zmiennej metryki

Kierunki sprzone posiadaj istotn cech, wykorzystywan przy tworzeniu algorytmw
optymalizacyjnych, ktr opisuje nastpujce twierdzenie.
TWIERDZENIE. Jeeli punkt xk+1 zosta uzyskany w procesie minimalizacji funkcji
kwadratowej wzdu A-sprzonych kierunkw, to gradient funkcji w tym punkcie jest
rwnie A-sprzony z poprzednimi kierunkami
(9.16)

W metodzie kierunkw sprzonych jest konieczne wyznaczanie hesjanu, najczciej w

sposb numeryczny, po kadych n krokach minimalizacji w kierunku. Procedura ta jest
niezbdna, poniewa funkcja celu f(x) jest przewanie rna od funkcji kwadratowej i jej
hesjan zmienia si w zalenoci od biecego pooenia punktu x. Jak pokazano wczeniej,
obliczanie skadnikw macierzy drugich pochodnych jest kosztowne, zwaszcza kiedy funkcja
celu nie jest dana w sposb jawny oraz co jest rwnie istotne, prowadzi do bdw
zwizanych z aproksymacj pochodnej ilorazem rnicowym. Okazuje si, e znajc jedynie
gradienty funkcji celu w kolejnych minimach wzdu kierunkw sprzonych mona coraz
lepiej aproksymowa hesjan funkcji celu. Wykorzystuje si tu iteracyjne uzupenianie pewnej
macierzy [V]j, (j=1, 2, ... n) o przyczynki pozyskiwane po kadym kroku optymalizacyjnym.
Istnieje caa rodzina takich formu, nazywanych wzorami zmiennej metryki, ktre dla
kwadratowej funkcji celu zapewniaj osignicie minimum w co najwyej n krokach.
Najczciej stosowane to:
Wzr Davidona Fletchera - Powella
(9.17)
oraz
Wzr Broydena Fletchera - Shanno
(9.18)

Oznaczenia s nastpujce
[ I ] macierz jednostkowa,
k = xk+1 xk = kdk

- przesunicie punktu optymalnego,

k = f(xk+1) - f(xk)

zmiana wektora gradientu funkcji celu w kolejnych punktach

optymalnych

dg iloczyn zewntrzny wektorw d, g.

Algorytm metody zmiennej metryki jest nastpujcy:

1. Wybierz punkt startowy x1 oraz startowe przyblienie odwrotnoci hesjanu [V]1.
Najczciej jest to macierz identycznociowa [ I ] lub, jeli s ku temu przesanki, inna
symetryczna i dodatnio okrelona. Podstaw k=1.
2. Oblicz dk= - [Vk] f(xk).
3. Wykonaj minimalizacj w kierunku dk znajdujc k takie e
(9.19)
4. Sprawd kryterium zatrzymania, jeli nie jest spenione wykonaj p.5.
5. Wykonaj podstawienia

(9.20)

gdzie poprawka [V]k jest obliczana ze wzoru (9.17) lub (9.18) w zalenoci od wyboru
metody.

6. Podstaw k=k+1 i wr do p.3.