Zajcia 4.: Optymalizacja funkcji wielu zmiennej.

Problem optymalizacji

min f ( x )
x

pw. x R n
gj(x) 0, j = 1, 2, , m
hk(x) = 0, k = 1, 2, , l

3.1 Warunki optymalnoci Karusha-Kuhna-Tuckera (KKT)

3.1.1 Warunek konieczny
Dane s funkcja celu

z kryterium minimalizacji oraz funkcje warunkw

nierwnociowych
i rwnociowych
. Ponadto, zakadamy, e w
punkcie x* istniej gradienty tych funkcji i s one cig. Jeeli x* jest lokalnym ekstremum, ktry
spenia warunki regularnoci, to istniej wektory mnonikw
, takie, e spenione s warunki Kuhna-Tuckera

3.2 Metod funkcji kary (metoda kar i barier)1

Konstruujemy pomocnicz funkcj
P(x,R) = f(x) + S[R,g(x),h(x)]
3.2.1 Metody funkcji kary zewntrznej (metoda kar)
Sk[Rk,g(x),h(x)] = Rk{suma_i max[0,gi(x)]2 + suma_j hi(x)2}
Zaczynamy z maym Rk, ale Rk gdy k
3.2.1 Metody funkcji kary wewntrznej (metoda barier)
Sk[Rk,g(x),h(x)] = -Rk[ln(-g(x)]
Zaczynamy z duym Rk, ale Rk 0 gdy k

Zangwill W.W., Nonlinear Programming via Penalty Functions, Management Science, 1967.

3.3 Techniki linearyzacji Sekwencyjne Programowanie Liniowe 2

3.3.1 Metoda Frank-a - Wolfea
3.3.2 Metoda ci (ang. Cutting plane method3)
Przeznaczenie: liniowe (po modyfikacji take nieliniowe) funkcje celu i wypuke zbiory decyzji
dopuszczalnych.
Idea: sukcesywne odcinanie przestrzeni poszukiwa (ang. Serach space) przy pomocy liniowych
hiperpaszczyzn, polegajce na sukcesywnej linearyzacji najbardziej naruszonego warunku i
rozwizywaniu podproblemw bdcych ZPL.
Dane:
Z0 = {x: xL x xU} pocztkowy zbir decyzji dopuszczalnych, ktry zawiera RO
f(x) = cTx liniowa funkcja celu
g(x) 0 wielokryterialna funkcja warunkw
parametr warunku STOPu
Algorytm:
1. Rozwi nastpujce ZPL:
Min f(x)
p.w. x Z0
Przypisz x1 wektor RO powyszego ZPL. Przyjmij k = 1.
2. Znajd warunek najbardziej naruszony
gm(xk) = max[-gj(xk); 0]
Jeeli gm(xk) > - ZAKOCZ, wpp. pkt. 3
3. Zlinearyzuj ten warunek korzystajc z rozwinicia Taylora 1. Rzdu:
pk(x) = gm(xk) + grad[gm(xk)]T(x xk) 0
Zdefiniuj Hk, jako zbir speniajcy pk(x) i rozwi nastpujce ZPL:
Min f(x)
p.w. x Z0 Hk
Przypisz xk wektor RO powyszego ZPL. Przyjmij k = 1.
4. Przypisz Zk = Zk-1 Hk oraz k = k + 1 i pkt. 2.
Metod ci mona take stosowa do nieliniowych (konkretnie wypukych) funkcji celu,
poprzez wprowadzenie nowej zmiennej x0 i towarzyszcego jej sztucznego warunku: x0 f(x). W
konsekwencji otrzymuje si nowe zadanie z liniow funkcj celu:
Min x0
p.w.
g(x) 0
x0 f(x) 0
2

Cheney E.W., Goldstein A.A., Newtons Method for Convex Programming and Tchebycheff Approximation,
Numerische Mathematik, 1959.
3
Kelly J.E., The cutting plane method for solving convex programs, SIAM Journal, 1960.

3.4 Metoda kierunkw dopuszczalnych (ang. Feasible Directions)4

Idea: dokonywana jest linearyzacja (z rozwinicia Taylora I rzdu) funkcji celu i warunkw
ograniczajcych, w celu okrelenia lokalnie dobrych kierunkw poszukiwa. Nowe punkty
wyznaczane przez dobry kierunek powinien by: dopuszczalne i lepsze w sensie poprawy
wartoci funkcji celu.
Powiemy, e kierunek d w punkcie xT jest kierunkiem poprawy/spadku, gdy grad[f(xT)] d 0.
Powiemy, e kierunek d w punkcie xT jest kierunkiem dopuszczalnym, gdy dla kadego aktywnego
warunku gj(x) zachodzi, e grad[gj(xT)] d 0 (zbir D={x: gi(x) 0 dla kadego i})
Dane:
x0 dopuszczalny punkt startowy
parametr sprawdzania aktywnoci warunkw
Algorytm:
1.

Ustal t = 0.

2.

Dla punktu xt, ustal zbir warunkw aktywnych It

Jeli zbir ten jest pusty przyjmij za dt = -grad[f(xt)] i pkt. 4

3.

Rozwi ZPL:
Max
p.w.
grad[f(xt)] d + 0
grad[gj(xt)] d - 0 dla zbioru warunkw aktywnych It.
-1 di 1
Oznacz rozwizanie przez dt i t

4.

Jeeli t 0 to KONIEC, w.p.p.

= ; = min[: gi(xt + dt) = 0 dla kadego i, oraz > 0}

5.

Znajd *, takie e, min f(xt + dt)

6.

Przyjmij xt+1 = xt + d, t = t + 1, pkt. 2

3.5 Uoglniona metoda gradientu zredukowanego5

3.6 Zadania
1. [LAB][Deb] Zapisz warunki KKT dla poniszego problemu:
Min 3x12 2x2
p.w
4
5

Zoutendijk G., Methods of Feasible Directions, Amsterdam, Elsevier, 1960.

ang. Generalized Reduced Gradient (GRG)

2x1 + x2 = 4
x12 +x22 19,4
x1 0
Sprawd czy punkty (0, 4)T i (3,4; -2,8)T s punktami KKT. O ile maksymalnie zmieni si warto
funkcji celu jeli ograniczenie rwnociowe zostanie zastpione przez 2x1 + x2 = 6 ?
2. [PD] [Deb] Zapisz warunki KKT dla poniszego problemu:
Min x12 + x22 10x1 + 4x2 +2
p.w
x12 + x2 6 0
x2 x1
x1 0
Sprawd czy punkty ponisze punkty s punktami KKT:
a) (0; 6)T
b) (1,5; 1,5)T
c) (2,2)T
Czy punkt ten jest te punktem optymalnym ? Odpowied uzasadnij. Ponadto, zinterpretuj
mnoniki Lagrangea.
3.[LAB][Stachurski] Znajd metod graficzn RO poniszego zadania i sprawd czy jest ono
punktem KKT. Dlaczego nie jest ?
Min x1
Pw.
-sin x1 + x2 0
-x2 + x1 0
4.[PD][Stachurski] Znajd metod graficzn RO poniszego zadania i sprawd czy jest ono
punktem KKT. Dlaczego nie jest ?
Min (x1 2)2 + x22
Pw.
-x1 0
-x2 0
-(1-x1)3 + x2 0
5. Znajd RO poniszego problem:
Min f(x) = 10 + x2 8x
pw.
x6
a) [LAB] Wykorzystujc zewntrzn funkcj kary. Przyjmij R = 0,01; 0,1; 1; 10; 100;
b) [PD] Wykorzystujc wewntrzn funkcj kary. Przyjmij R = 1000; 10; 1; 0,1; 0,01
6. [PD] Wykonaj trzy R = 0,1; 1; 10 iteracje metody zewntrznej funkcji kary dla problemu:
Min (x12 + x2 -11)2 + (x1 + x22 7)2
4

(x1 5)2 + x22 26 0

x1, x2 0
Wskazwki:
1.

Dla kadego Rk = 0,1; 1; 10 stwrz odpowiedni funkcj Fk

2.

Dla kadej z trzech funkcji Fk dokonaj dwch iteracji metody Cauchyego (opt. Bez ogr.)

3.

Oblicze dokonaj rcznie. Sprawd je posugujc si dostpnymi skryptami w Matlabie.

7. [PD] Dla zadania minimalizacji:

f(x) = x1 + x22
p.w.
25 x12 x22 0
x12 + x2 0
(0; 0)T x (5; 10)T
a) Podaj i rozwi pierwszy podproblem PL w metodzie ci.
b) Podaj hiperpaszczyzn odcinajc.
c) Podaj i rozwi drugi podproblem PL oraz podaj kolejne odcicie.
RO znajd przy pomocy metody graficznej.
8. [PD] Wykonaj dwie iteracje metody ci posugujc si metod graficzn zadania:
Max x2
p.w.
4,5x1 + x22 18
2x1 x2 1
x1, x2 0
Wybierz odpowiedni pocztkowy zbir decyzji dopuszczalnych.
9. [PD] Wykonaj 3 iteracje metody ci dla poniszego zadania minimalizacji:
(x1 3)2 + (x2 - 2)2
p.w.
26 (x1- 5)2 x22 0
20 4x1 x2 0
x1, x2 0
Wskazwki:
a) Przekszta powysze zadanie optymalizacji do postaci z liniow funkcj celu.
b) Metod graficzn (w przestrzeni R3) rozwi nowe zadanie optymalizacji.
c) Wykonaj trzy iteracje metody.
10. Sprawd czy kierunek d jest dopuszczalnym w punkcie x na warunku g(x):
a) [LAB] d = (1; -2)T, x = (1; -,5)T, g(x) = x13 2x1x2 2
b) [PD] d = (1; 2; 1)T, x = 0, g(x) = x12 + x22 3x3 + 10x1 0
c) [PD] d = (0; 1)T, x = (2; 1)T, g(x) = (x1 2x2)2 + 5x12x2 + x2 -12 0
5

11. [PD] W zadaniu optymalizacji nieliniowej podane s nastpujce ograniczenia:

g1(x) = (x1 5)2 + x22 25 0
g2(x) = x1 + 2x2 12 0
g3(x) = 2x1 + x2 + 4 0
Dany jest punkt (0; 0)T I kierunek poszukiwa d = (2; 1)T. Podaj minimalne i maksymalne
ograniczenia dla przeszukiwania wzdu tego kierunku.

3.7 Literatura:
Bazaraa M.S., Sherali H.D., Shetty C.M., Nonlinear Programming Theory and
Algorithms, 3rd Edition, Wiley-Interscience, 2006.
Deb K., Optimization for Engineering Design: Algorithms and Examples, PHI Learning
Private Limited, New Delhi, 2009.
Ostatnin A., Optymalizacja liniowa i nieliniowa, Politechnika Biaostocka, Biaystok 2005.
Rao, Singiresu S., Engineering Optimization: Theory and Practice, 4th edition, John Wiley
& Sons, 2009.

3.8 Implementacje algorytmw

3.9 Odpowiedzi