Universidad del Zulia Facultad de Ingeniera Divisin de Estudios para Graduados Instituto de Clculo Aplicado

OPTIMIZACIN PARA INGENIEROS

Optimizacin Con Restricciones
(Notas de clase)

Prof. Luis Zerpa

Abril 2006

ndice General

1.

Condiciones para la optimizacin con restricciones ...................................................................2 1.1. 1.2. 1.3. 1.4. 1.5. 1.6. Restricciones .....................................................................................................................2 Plano Tangente..................................................................................................................3 Condiciones necesarias de primer orden ............................................................................5 Condiciones necesarias de segundo orden..........................................................................6 Condiciones necesarias de primer orden con restricciones de desigualdad..........................6 Condiciones necesarias de segundo orden con restricciones de desigualdad .......................8

2.

Mtodos de Programacin no lineal con restricciones................................................................9 2.1. 2.2. 2.3. 2.4. 2.5. Mtodos de funcin de penalizacin ..................................................................................9 Mtodos Primarios (Primal Methods) ..............................................................................12 Mtodos de Direccin Factible ........................................................................................13 Mtodos de Conjunto Activo ............................................................................................15 Mtodo de Proyeccin de Gradiente ................................................................................18

1. Condiciones para la optimizacin con restricciones En esta seccin se presentan las condiciones necesarias y suficientes que se satisfacen en los puntos solucin de un problema de optimizacin con restricciones. Estas condiciones definen los multiplicadores de Lagrange y una cierta matriz Hessiano, los cuales forman los fundamentos para el desarrollo y anlisis de algoritmos para la solucin de problemas de optimizacin con restricciones.

1.1. Restricciones El problema general de optimizacin con restricciones se puede plantear de la siguiente forma: Minimizar f(x) Sujeto a h1(x) = 0 h2(x) = 0 M hm(x) = 0 x En donde m n y las funciones f, hi, i = 1, 2,, m y gj, j = 1, 2,, p son continuas, y usualmente se asume que tienen segundas derivadas parciales continuas. Las restricciones h(x) = 0, g(x) 0 son conocidas como restricciones funcionales, mientras que la restriccin x es un conjunto restriccin. Un punto x que satisface las restricciones funcionales se dice que es factible. 1.1.1. Restricciones activas Se dice que una restriccin de desigualdad gi(x) 0 est activa en un punto factible x si gi(x) = 0, y est inactiva en x si gi(x) < 0. Por convencin, se refiere a cualquier restriccin de igualdad hi(x) = 0 como activa en cualquier punto factible. Las restricciones activas en un punto factible x restringen el dominio factible en la vecindad de x, mientras las otras, restricciones inactivas, no tienen influencia en la vecindad del x. Por lo tanto, al estudiar las propiedades de un mnimo local, es claro que solo se toman en cuenta las restricciones activas. g1(x) 0 g2(x) 0 M gp(x) 0

1.2. Plano Tangente Un conjunto de restricciones de igualdad sobre En h1(x) = 0 h2(x) = 0 M hm(x) = 0 define un subconjunto de E que puede ser visto como una hipersuperficie de dimensin n-m. Si las restricciones tienen primeras derivadas continuas, se puede decir que la superficie definida por estas es suave. Asociado con un punto en una superficie suave se tiene un plano tangente a ese punto (ver figura 1).
n

Figura 1. Plano tangente a una superficie en un punto

Una curva sobre una superficie S es una familia de puntos x(t) S parametrizados continuamente por t para a t b. Ahora, consideremos todas las curvas diferenciables de S que pasan por un punto x*. El plano tangente a x* est definido por la coleccin de las derivadas con respecto a x* de todas estas curvas. El plano tangente es un subespacio de En. (Ver figura 2)

h(x*) x*

Figura 2. Plano tangente de una superficie de 3 dimensiones

Para superficies definidas por un conjunto de restricciones activas, el plano tangente se puede expresar en trminos de las derivadas de las restricciones hi que definen una superficie. Pero primero hay que definir un punto regular. Definicin: Un punto x* que satisface las restricciones activas h(x*) = 0 se dice que es un punto regular de las restricciones si los vectores gradientes h1(x*), h2(x*), , hm(x*) son linealmente independientes. Luego, en un punto regular es posible caracterizar el plano tangente en trminos de los gradientes de las restricciones. Teorema: En un punto regular x* de la superficie S definida por h(x*) = 0 el plano tangente es igual a M = {y:h(x*)y = 0}

1.3. Condiciones necesarias de primer orden Lemma: Sea x* un punto regular de las restricciones h(x) = 0 y un punto extremo local (mximo o mnimo) de f sujeto a estas restricciones. Entonces, todo y En que satisface h(x*)y = 0 tambin debe satisfacer f(x*)y = 0 Es decir, f(x*) es ortogonal al plano tangente. Esto implica que f(x*) es una combinacin lineal de los gradientes de h en x*, una relacin que conlleva a la introduccin de los multiplicadores de Lagrange. Teorema: Sea x* un extremo local de f sujeto a las restricciones h(x) = 0. Asumiendo que x* es un punto regular de estas restricciones. Entonces existe un vector Em tal que, f(x*) + Th(x*) = 0 Ntese que las condiciones necesarias de primer orden f(x*) + Th(x*) = 0 junto con las restricciones h(x*) = 0 dan un total de n+m ecuaciones con n+m variables compuestas por x* y . Por lo tanto, las condiciones necesarias son un conjunto completo, al menos localmente, debido que definen una solucin nica. A la combinacin lineal de la funcin objetivo y las restricciones se le conoce como Langragiano. l(x,) = f(x) + Th(x) 1.3.1. Ejemplo 1 Considere el problema Minimizar Sujeto a Las condiciones necesarias son: x2 x1 x1 + + x2 + + x3 x3 + + + = 0 = 0 = 0 x1x2 + x2x3 + x1x3 x1 + x2 + x3 = 3

Estas tres ecuaciones junto con la restriccin dan cuatro ecuaciones que se pueden resolver para determinar las cuatro incognitas x1, x2, x3, . La solucin es x1 = x2 = x3 = 1; = -2.

1.4. Condiciones de segundo orden Condiciones necesarias de segundo orden. Suponiendo que x* es un mnimo local de f sujeto a h(x) = 0 y que x* es un punto regular de estas restricciones. Entonces existe un Em tal que, f(x*) + Th(x*) = 0 Si denotamos M como el plano tangente M = {y:h(x*)y = 0}, luego la matriz L(x*) = F(x*) + TH(x*) F(x*) Hessiano de la funcin, H(x*) Hessiano de las restricciones es semidefinida positiva en M, es decir, yTL(x*)y 0 para todo y M. La matriz L es el Hessiano del Langragiano, una matriz de segundas derivadas parciales con respecto de x del Langragiano l. Condiciones suficientes de segundo orden. Suponga que existe un punto x* que satisface h(x*) = 0, y un Em tal que, f(x*) + Th(x*) = 0 Suponga tambin que la matriz L(x) = F(x*) + TH(x*) es definida positiva en M = {y:h(x*)y = 0}, es decir, para y M , y 0, yTL(x*)y > 0. Entonces x* es un mnimo local de f sujeto a h(x*) = 0. 1.5. Condiciones necesarias de primer orden con restricciones de desigualdad Definicin: Sea x* un punto que satisface las restricciones h(x*) = 0 g(x*) 0

y sea J el conjunto de ndices j para los cuales gj(x*) = 0. Luego, se dice que x* es un punto regular de las restricciones si los vectores gradiente hi(x*), gj(x*), 1 i m, j J son linealmente independientes. Condiciones de Kunh-Tucker. Sea x* un punto mnimo relativo para el problema Mimizar f(x) Sujeto a h(x*) = 0 g(x*) 0 y suponiendo que x* es punto regular para las restricciones. Entonces existe un vector Em y un vector Ep con 0 tal que f(x*) + Th(x*) + Tg(x*) = 0 Tg(x*) = 0

1.5.1. Ejemplo 2 Considere el problema Minimizar Sujeto a 2x12 + 2x1x2 + x22 10x1 10x2 x12 + x22 5 3x1 + x2 6 Las condiciones necesarias de primer orden junto con las restricciones son 4x1 + 2x2 - 10 + 21x1 + 32 = 0 2x1 + 2x2 10 + 21x2 + 2 = 0 1 0, 2 0 1(x12 + x22 5) = 0 2(3x1 + x2 6) = 0 Para encontrar la solucin se definen varias combinaciones de restricciones activas y se chequea el signo de los multiplicadores de Lagrange resultantes. En este problema se puede probar fijando, ninguna, una o dos restricciones activas. Asumiendo la primera restriccin activa y la segunda inactiva se obtiene, 4x1 + 2x2 - 10 + 21x1 = 0 2x1 + 2x2 10 + 21x2 = 0 x12 + x22 = 5 se obtiene la solucin, x1 = 1, x2 = 2, 1 = 1 Esta solucin satisface la segunda restriccin. Por lo tanto, debido a que 1 > 0, se concluye que esta solucin satisface las condiciones necesarias de primer orden.

1.6. Condiciones de segundo orden con restricciones de desigualdad Condiciones necesarias de segundo orden. Suponga que las funciones f, g, h, C2 y que x* es un punto regular de las restricciones. Si x* es un punto mnimo relativo, entonces existe un Em y un vector Ep con 0 tal que se cumplen las condiciones de primer orden y L(x*) = F(x*) + TH(x*) + TG(x*) es semidefinida positiva sobre el subespacio tangente de las restricciones activas de x*. Condiciones suficientes de segundo orden. Sea f, g, h, C2. Las condiciones suficientes para que un punto x* que satisface las restricciones sea un punto mnimo relativo son que exista Em y un vector Ep, tal que, 0 Tg(x*) = 0 f(x*) + Th(x*) + Tg(x*) = 0 y la matriz Hessiana del Langragiano, L(x*) = F(x*) + TH(x*) + TG(x*) sea definida positiva en el subespacio M = {y:h(x*)y = 0, gj(x*)y = 0 para j J} donde J = {j:gj(x*) = 0, j >0}

2. Mtodos de Programacin no lineal con restricciones Los problemas con restricciones son ms difciles de resolver debido a los requerimientos adicionales que la solucin debe satisfacer. La mayora de los mtodos propuestos para resolver este tipo de problemas estn basados en uno de los siguientes conceptos: 1. Extensin de la metodologa lineal a travs de repetidas aproximaciones lineales 2. Transformacin de un problema con restricciones en una secuencia de problemas sin restricciones mediante el uso de funciones de penalizacin r 3. Uso de tolerancias flexibles para acomodar vectores x de regiones posibles y no posibles En este curso estudiaremos los ltimos dos conceptos.

2.1. Mtodos de funcin de penalizacin En esencia:

Problema sin restricciones Secuencia de problemas sin restricciones

Problema de Programacin No Lineal con restricciones

se transforma

Por ejemplo, supngase que se quiere encontrar el mnimo de f ( x ) = ( x1 3) + ( x 2 + 2 )

2 2

sujeto a

h( x ) = x1 + x 2 4 = 0

Se puede deducir una nueva funcin objetivo sin restricciones, P( x ) = ( x1 3) + ( x 2 + 2) + ( x1 + x 2 4 )

2 2 2

al sumarle el cuadrado de la restriccin a f(x) como una penalizacin. Durante la minimizacin de P(x) el vector x es forzado por la penalizacin a satisfacer la restriccin.

Los mtodos de funcin de penalizacin se pueden dividir en dos clases: Mtodos Paramtricos: son caracterizados por uno o ms parmetros ajustables que ponderan la funcin de penalizacin formada por las restricciones. Estos a su vez se pueden dividir en: o Mtodos de punto interior: Mantener lejos de los bordes de la regin factible mediante la suma de la funcin de penalizacin. o Mtodos de punto exterior: generar una secuencia de puntos no factibles que en el lmite llegan a una solucin factible. La funcin de penalizacin previene de irse muy lejos de la regin factible. o Mtodos mixtos: requeridos especialmente con restricciones de igualdad. Algunas restricciones son satisfechas y otras no, pero todas son satisfechas dentro de una tolerancia cuando se alcanza una solucin. Mtodos No paramtricos: tratan a la funcin objetivo como una restriccin adicional la cual es sucesivamente apegada a partir de la informacin desarrollada en la solucin del problema.

En resumen: El enfoque de funciones de penalizacin es transformar el problema no lineal con restricciones en una secuencia de problemas sin restricciones sumando una ms funciones de restriccin a la funcin objetivo y eliminando as tales restricciones.

Formalmente la transformacin del problema es como sigue: r Minimizar f ( x ) r x En

Sujeto a m restricciones de igualdad r h j (x ) = 0 j = 1,, m y (p-m) restricciones de desigualdad r g j ( x ) 0 j = m+1,, p

Minimizar P x , Donde P x (k ) , (k )

(k )

(k )

) = f (x ) +
(k )
m i =1

(k )
i

H hi x

( ( )) + ( )G (g (x ( ) ))
(k )
p k k i = m +1 i i

(k )

: funcin aumentada generalizada, o funcin de penalizacin : factores de ponderacin : funcional de hi x ( k )

H hi x

( ( ))
(k )

( )

G g i x (k ) k

( ( ))

: funcional de g i x ( k ) : pasos de la bsqueda numrica

( )

Selecciones tpicas para funciones de restricciones de desigualdad G g i x ( k ) 1. G1 g i x ( k )

( ( ))

( ( )) + si g (x ) 0+
i

x siempre es un punto interior. slo son aceptados puntos exteriores.

2. G 2 g i x ( k )

( ( )) 0

si g i ( x ) 0-

3. G3 g i x (k ) > 0 para g i ( x ) < 0 y G 4 g i x ( k ) = 0 para g i ( x ) 0. Esta opcin no contempla la satisfaccin de la restriccin excepto en la solucin.

( ( ))

( ( ))

Para restriccin de igualdad una seleccin funcional tpica es: H (hi ( x )) 0 si hi ( x ) 0 Una forma tpica para las restricciones de igualdad es H (hi ( x )) = hi ( x )
2

Adicionalmente, para todas las selecciones anteriores se requiere que: lim

i = m +1 m

( )G(g (x ( ) )) = 0
p k k i i

lim i H hi x ( k ) = 0
k i =1

(k )

( ( ))

lim P x ( k ) , ( k ) f x ( k ) = 0
k

) ( )

Es decir, el efecto de las restricciones en la funcin aumentada es gradualmente disminuido a medida que la bsqueda progresa, y completamente eliminado en el lmite, de forma tal que el valor de la funcin aumentada converge al mismo valor de f(x) y el extremo de P(x) es el mismo de f(x).

2.2. Mtodos Primarios (Primal Methods) Considerando el problema general de optimizacin de una funcin no-lineal r Minimizar f ( x ) r x En

Sujeto a m restricciones de igualdad r h j (x ) = 0 j = 1,, m y (p-m) restricciones de desigualdad r g j ( x ) 0 j = m+1,, p Es decir, minimizar f sobre la regin en En definida por las restricciones. Asumiendo que todas las ecuaciones tienen derivadas parciales de tercer orden continuas. Los mtodos primarios que resuelven problemas de optimizacin con restricciones son mtodos de bsqueda que trabajan sobre el problema original directamente buscando dentro de la regin factible la solucin ptima. Durante el proceso de bsqueda: Cada punto en el proceso es factible El valor de la funcin objetivo siempre decrece Para un problema con n variables y con slo m restricciones de igualdad, los mtodos primarios trabajan en el espacio factible de dimensiones n m.

2.2.1. Ventajas de Mtodos Primarios

A continuacin se enuncian las ventajas de los mtodos primarios que hacen que sean recomendados para la solucin de los problemas de programacin no lineal con restricciones. 1. Ya que siempre trabajan dentro de la regin factible, si el proceso termina antes de alcanzar la solucin (algo bastante probable), el punto terminal es factible y probablemente cercano al ptimo, por lo que representa una solucin aceptable al problema prctico. 2. Frecuentemente, se puede garantizar que genera una secuencia convergente, es decir, el punto lmite debe ser al menos un ptimo (mnimo) local que satisface las restricciones. 3. No depende de la estructura del problema (e.g., convexidad) por lo tanto aplican a problemas generales.

2.2.2. Desventajas: 1. Requieren que el punto inicial sea factible 2. Estn plagados de dificultades computacionales derivadas de la necesidad de mantenerse dentro de la regin factible a medida que el proceso progresa (en especial, con restricciones no lineales). Algunos mtodos pueden fallar si no se toman precauciones en problemas con restricciones de desigualdad.

2.2.3. Razn de convergencia: Su razn de convergencia es competitiva con relacin a otros mtodos y en especial con restricciones lineales. Estn frecuentemente entre los ms eficientes.

Debido a su balance entre su aplicabilidad general y simplicidad tienen un rol importante entre los algoritmos de programacin no lineal.

2.3. Mtodos de Direccin Factible La idea de estos mtodos es tomar pasos a travs de la regin factible de la forma: r r r x k +1 = x k + k d k k es seleccionado para minimizar f de forma tal que el punto xk+1 y el segmento que une xk y xk+1 sea factible. Esto motiva el uso de direcciones factibles como direcciones de bsqueda. Definicin r r r r d k es una direccin factible en x k si > 0 tal que x k + k d k es factible para todo (0 ) Los mtodos de direccin factible son una extensin de los mtodos de optimizacin sin restricciones, donde cada paso es la composicin de la seleccin de una direccin factible y una bsqueda lineal restringida.

Un ejemplo representativo de este tipo de mtodos es el Mtodo Simplificado de Zoutendijk: Supongamos el siguiente problema con restricciones lineales. r Minimizar f ( x ) sujeto a rTr a1 x b1 M r Tr a m x bm r rTr Dado un punto factible, x k , sea I el conjunto de ndices de restricciones activas, ai x bi para i I. r La direccin d k es seleccionada por la solucin del siguiente problema lineal. r Minimizar f ( x k )d rT r sujeto a ai d 0 , i I r donde d =(d1, d2,, dn)

d
i =1

=1

Existen dos problemas con los mtodos de direccin factible que requieren modificaciones en la mayora de los casos, estos son: 1. En problemas generales puede no existir ninguna direccin factible, e.g., en problemas con restricciones de igualdad no lineales se puede presentar que no existen segmentos de lnea recta r desde x k que sean factibles. xk
Conjunto factible

Para estos problemas es necesario relajar nuestro requerimiento de factibilidad permitiendo que los puntos se desven ligeramente de la superficie de restriccin, o introducir el concepto de movimiento a lo largo de curvas en lugar de lneas rectas. 2. En su forma ms simple la mayora de los mtodos de direccin factible no son globalmente convergentes. Ellos estn sujetos a zig-zageo donde la secuencia de puntos puede converger a un punto que no es un extremo local restringido.

Es posible desarrollar algoritmos de direcciones factibles que superen estas limitaciones, sin embargo estos mtodos son complejos. Un enfoque ms simple es utilizar mtodos de conjuntos activos.

2.4. Mtodos de Conjunto Activo La idea principal de los mtodos de conjunto activo es particionar las restricciones de desigualdad en dos grupos: 1. Aquellas tratadas como activas 2. Aquellas tratadas como inactivas (esencialmente ignoradas)

Consideremos el siguiente problema, r r r Minimizar f ( x ) sujeto a g (x ) 0 (slo tomando en cuenta restricciones de desigualdad) Las condiciones necesarias son: r r r f ( x ) + T g ( x ) = 0 r g (x ) 0 r r T g (x ) = 0 r T 0 De forma ms simple, y en trminos de las restricciones activas, r r f ( x ) + i g i ( x ) = 0 Condiciones de problema con i A restricciones de igualdad r g i (x ) = 0 i A r g i (x ) < 0 i A i 0 i A r = 0 iA Restricciones inactivas Activacin de multiplicadores correspondientes a restricciones activas

Es claro que si el conjunto de restricciones activas es conocido, el problema original puede ser reemplazado por el problema correspondiente que tiene slo restricciones de igualdad. Suponga que se tiene un conjunto activo y el problema correspondiente con restricciones de igualdad se resuelve. Si las otras restricciones son satisfechas y los multiplicadores de Lagrange son positivos, entonces la solucin es correcta. La idea es definir en cada paso o fase del algoritmo un conjunto de restricciones (denominado conjunto de trabajo) que son tratadas como activas. El conjunto de trabajo es seleccionado como un subconjunto de las restricciones realmente activas para el punto actual, y as el punto es factible para el conjunto de trabajo. El algoritmo luego procede a moverse sobre la superficie definida por el conjunto de trabajo hacia un mejor punto. En este nuevo punto el grupo de trabajo puede ser cambiado.

2.4.1. Componentes de un mtodo de conjunto activo 1. Determinacin del conjunto de trabajo que es un subconjunto de las restricciones activas. 2. Movimiento sobre la superficie definida por el conjunto de trabajo hacia un punto mejor. La superficie definida por el conjunto de trabajo se denomina Superficie de trabajo.

2.4.2. Cambios en el conjunto de trabajo 1. Supongamos que para un conjunto de trabajo dado W el problema con restricciones de igualdad r r Minimizar f ( x ) sujeto a g i ( x ) = 0 i W r es solucionado llegando al punto xw que satisface g i ( x ) < 0 , i W. Este punto satisface las condiciones necesarias: r r f ( x w ) + i g i ( x w ) = 0
iW

Si i 0 para todo i W, el punto xw es una solucin local del problema original. Si existe un i W tal que i < 0, la funcin objetivo puede decrecer relajando la restriccin i. Esto es consecuencia de la interpretacin de los multiplicadores de Lagrange, debido a que un pequeo decremento en el valor de la restriccin desde 0 hasta c puede conducir a cambios en la funcin objetivo de ic, el cual es negativo. As eliminando la restriccin i del conjunto de trabajo, se puede obtener una mejor solucin.

2. Durante el curso de la minimizacin de f(x) sobre la superficie de trabajo, es necesario monitorear los valores de las otras restricciones para asegurarse de que estas no son violadas, ya que todos los puntos definidos por el algoritmo deben ser factibles. Frecuentemente pasa que mientras se mueve en la superficie de trabajo se encuentran nuevas restricciones. Entonces, es conveniente incluir esta restriccin en el conjunto de trabajo.

2.4.3. La Estrategia Una estrategia completa de conjunto activo para eliminar y adicionar restricciones puede ser desarrollada combinando las dos ideas anteriores. 1. Se inicia con un conjunto de trabajo dado y se comienza a minimizar sobre la superficie de trabajo. 2. Si nuevas restricciones son encontradas, ellas se agregan al conjunto de trabajo, pero ninguna es eliminada. 3. Finalmente, se obtiene un punto que minimiza f con respecto al conjunto de trabajo actual.

4. Se determinan los multiplicadores de Lagrange Si todos los multiplicadores son positivos la solucin es ptima En caso contrario, las restricciones con multiplicadores negativos son eliminadas del conjunto de trabajo 5. El procedimiento es reiniciado con este nuevo conjunto de trabajo y f decrecer en el prximo paso. Esta estrategia requiere definir un procedimiento para minimizar sobre la superficie de trabajo que permita agregar restricciones al conjunto de trabajo y que luego de eliminar una restriccin asegure que la funcin objetivo es estrictamente decreciente. Est garantizado que este mtodo converge a la solucin ptima.

2.4.4. Dificultades Algunos problemas con conjuntos activos incorrectos deben ser resueltos (problemas intermedios) La solucin de esos problemas intermedios, en general, deben ser puntos mnimos globales exactos para determinar el signo correcto de los multiplicadores de Lagrange y para asegurar que durante el siguiente proceso de descenso la superficie de trabajo anterior no se encuentre otra vez.

2.4.5. Aspectos prcticos Se eliminan restricciones utilizando varios criterios antes de que un mnimo exacto sea encontrado en la superficie de trabajo. La convergencia no puede ser garantizada para muchos de estos mtodos. Ellos estn sujetos al zig-zageo. Sin embargo, esto ocurre con poca frecuencia. Con refinamientos, es frecuentemente efectivo

Es claro que un componente fundamental de un algoritmo de conjunto activo es el algoritmo que resuelve un problema con restricciones de igualdad para minimizar sobre la superficie de trabajo.

2.5. Mtodo de Proyeccin de Gradiente Motivacin: mtodo de descenso ms rpido. El (-f) es proyectado sobre la superficie de trabajo para definir la direccin de movimiento.

2.5.1. Para restricciones lineales Consideremos el problema de la forma: r Minimizar f ( x ) sujeto a r r ai T x bi , i I1 r r ai T x = bi , i I 2 Siempre se puede asumir que el proceso es iniciado en un punto factible. rT r En este punto habrn algunas restricciones activas (q) ai x = bi y otras inactivas. Las activas integran el conjunto de trabajo W(x). r Se determina la direccin factible (vector d k ) que satisfaga f(x)d < 0 (este movimiento causa que la funcin decrezca). Inicialmente, se consideran direcciones que satisfacen aiTd = 0, i W(x), de forma tal que todas las restricciones permanezcan activas. La direccin particular que se utilizar es la proyeccin del gradiente negativo (-f) sobre el subespacio definido por el conjunto de trabajo.

1.

Computo de la proyeccin de -f(x) Sea Aq una matriz compuesta por filas de las restricciones activas.

Aq ser q n (de rango q < n. Nmero mximo de filas o columnas linealmente independientes) r r d debe yacer en el subespacio que satisfaga Aq d = 0 Se puede demostrar que: r T T 1 d k = I Aq Aq Aq Aq f = Pk f

donde, Pk es la matriz de proyeccin, que adems es una direccin de descenso. r Si d k calculada con la frmula anterior es diferente de cero, entonces es una direccin de descenso sobre la superficie de trabajo. Luego, se considera la seleccin de tamao del paso.

r r r En la medida que incrementa desde cero, el punto x k +1 = x k + k d k se mantendr factible y la funcin decrece. 1. Se encuentra la longitud del segmento factible emanando desde x y se minimiza f sobre este segmento. 2. Si el mnimo ocurre en su punto final, una nueva restriccin se har activa y ser incluida en el conjunto de trabajo. Posteriormente, se considera la posibilidad de que la proyeccin del gradiente negativo es cero. En este caso tenemos T f ( x ) + k Aq = 0 y xk satisface las condiciones necesarias para un mnimo en la superficie de trabajo, 1. Si k correspondientes a las restricciones activas son positivos, se satisfacen las condiciones Kuhn-Tucker y el proceso termina. 2. Si uno de los componentes de k es negativo, es posible remover la restriccin correspondiente para moverse en una nueva direccin hacia un punto mejor. En resumen un paso del mtodo de proyeccin de gradiente para restricciones lineales es como sigue: 1. Determinar el subespacio de restricciones activas M, y formar la matriz Aq, W(x). 2. Calcular la matriz de proyeccin P = I Aq Aq Aq r d k = Pk f ( x k )
T

T 1

Aq , y la direccin de descenso

3. Si d 0, encontrar 1 tal que max{ : x + d es factible }

2 tal que min { f ( x + d ) : 0 1 } r x k +1 = x k + 2 d y se regresa al paso 1.

(Figura 3)

4. Si d = 0, encontrar = Aq Aq

T 1

Aq f ( x )

a. Si j 0, para todo j correspondientes a las restricciones activas, se satisfacen las condiciones Kuhn-Tucker y el proceso termina. b. De otra forma, se elimina la fila de Aq correspondiente a la desigualdad con el ms negativo, y se regresa a 2.

1 =

bnq Anq xk Anq d k

2.5

1 1 Anq = 0 1
2.5 bnq = 0
0.9363 dk = 0.3511 1.7088 1 = 4.272

x1 + x2 2.5 0 dk x1 + 8/3 x2 4 0 1

xk
1.5

0.5

x1 0
0

x2 0
-0.5 0 0.5 1 1.5 2 2.5 3

Figura 3. Clculo del mximo paso factible sobre la direccin de descenso

2.5.2. Para restricciones no lineales r El vector de direccin d k , en el caso de restricciones no lineales, no es en general una direccin factible ya que la superficie puede ser curva. 1. Se mueve en la direccin de la proyeccin del gradiente negativo hasta un punto y. 2. Luego se hace un movimiento perpendicular al plano tangente del punto original para encontrar un punto factible sobre la superficie de trabajo. Tentativamente, este procedimiento se dirige fuera de la regin factible y luego regresa. Esto introduce nuevas dificultades que requieren de interpolaciones y solucin de ecuaciones no lineales. El clculo de la proyeccin es tambin ms difcil Pk = I h( x k ) h( x k )h( x k )
T

T 1

h( x k )

donde, h( x k ) incluye las restricciones activas tanto de igualdad como de desigualdad.