Captulo 8

El Problema de Mnimos Cuadrados

8.1.

El problema de mnimos cuadrados

El problema del ajuste de datos; es decir, descubrir una funcion matematica que
pueda explicar de la mejor forma posible el comportamiento de alg
un mecanismo o
grupo de seres u objetos que puede ser medido, y del cual conocemos algunos datos
(con sus posibles errores de medicion), es un problema clasico y ha supuesto un reto
para la comunidad matematica desde su planteamiento por Gauss y Legendre hacia
1800.
En lenguaje de algebra lineal consiste en encontrar la solucion de un sistema lineal
Ax  b siendo A P Cmn con m n. En A y b se recogen todos los datos del
experimento que se quieren ajustar. Enseguida veremos algunos ejemplos.
Sabemos que el sistema tiene solucion si y solo si b P Im A, condicion que difcilmente
se cumple si m es mucho mayor que n. Si m n diremos que el sistema Ax  b
esta sobredeterminado; y si no existe ning
un x P Cn1 tal que Ax  b lo que se
159

160

El Problema de Mnimos Cuadrados

puede intentar es buscar un x de forma que el vector

r

 Ax
b P Cm,

que se llama residuo o vector residual, sea lo mas peque

no posible. Lo grande
o peque
no que sea r lo mediremos mediante una norma. El problema de mnimos
cuadrados consiste en encontrar x P Cn1 para que el vector residuo tenga la menor
norma eucldea posible. Su formulacion precisa sera la siguiente:
Problema de mnimos cuadrados: Sea F  R o C. Dada una matriz A P Fmn
y un vector b P Fm ,(m n) encontrar x P Cn1 para que }Ax
b}2 sea mnimo.
La eleccion de la norma eucldea se puede justificar desde varios puntos de vista:
historico, geometrico, estadstico, . . . ; pero sobre todo porque es la norma habitual,
conduce a los algoritmos mas sencillos y as como todas las normas son funciones
continuas de los vectores, la norma eucldea es, ademas, diferenciable. Como, por
a
nadidura, la funcion }Ax
b}2 alcanza su maximo absoluto en un maximo local,
este maximo puede calcularse igualando a cero las derivadas parciales de dicha funcion. Este proceso conduce a lo que se llaman las ecuaciones normales del problema
de mnimos cuadrados. Estas ecuaciones nos las encontraremos mas adelante procedentes de un contexto completamente diferente.

Ejemplo 8.1 El ejemplo mas tpico de ajuste de datos por mnimos cuadrados es
el calculo del polinomio de interpolaci
on: dados m puntos del plano pxi , yi q,
i  1, . . . , m, de forma que xi  xj para i  j, se trata de encontrar un polinomio
de grado a lo mas m
1, ppxq  a0 a1 x    am
1 xm
1 , que pase por los n
puntos.

Se trata, entonces, de encontrar los coeficientes a0 , a1 ,. . . , am
1 , para que

ppxi q  yi ,

i  1, . . . , m.

Esto equivale a resolver el sistema lineal

a0

a1 x i



am
1 xim
1

 yi ,

i  1, . . . , m

(8.1)

8.1 El problema de mnimos cuadrados

161

cuya matriz de coeficientes es



1
1 x1 x21    xm
1
m

1 
2
 j
1  
1 x2 x2    x2 
A  xi
  .. .. .. . . . ..


. .
.
.
m
1
2
1 xm xm    xm
Esta es una matriz de Vandermonde cuyo determinante es
det A 

pxi
xj q.

i j

Por consiguiente A es invertible y el sistema (8.1) tiene una u

nica solucion. En
la Figura 8.1 se muestra la grafica del polinomio de interpolacion que pasa por
los 11 puntos pi, 0q con i 
5,
4, . . . ,
1, 0, 1, . . . , 4, 5. Se trata de un polinomio
de grado 10. A su derecha se ha escrito el codigo de MATLAB que obtiene los
coeficientes del polinomio de interpolacion: c  Azb y que da la grafica: plot(t,
polyval(p,t),a,b,r*,markersize,10);. El comando polyval(p,t) devuelve un vector: el valor del polinomio p en las componentes del vector t. Notese el
uso de las sentencias fliplr y flipud para obtener la matriz de los coeficientes
del sistema y los coeficientes del polinomio de interpolacion en la forma apropiada. La sentencia zeroaxes hace que los ejes cartesianos se dibujen en la forma que
se acostumbra a utilizar en la pizarra: dos lneas perpendiculares que se cortan en
p0, 0q.
5
4
3
2
1
6

2
1
2
3

Figura 8.1:
a=-5:5;
A=fliplr(vander(a));
b=[0 0 0 1 1 1 0 0 0 0 0];
c=Azb;
p=flipud(c);
t=linspace(-5.05,5.05);
plot(t, polyval(p,t),a,b,r*,...;
markersize,10);
zeroaxes

Indudablemente el polinomio de interpolacion se ajusta perfectamente a los datos,

pero a menudo estos proceden de experimentos y lo que se pretende es buscar una

162

El Problema de Mnimos Cuadrados

curva que interprete los datos obtenidos. Como las mediciones se realizan en momentos puntuales, tal grafica debera reflejar, salvo que se tengan motivos para pensar
lo contrario, una comportamiento suave entre dos datos consecutivos, y no la fluctuacion que muestra el polinomio de interpolacion de nuestro ejemplo. Quiza un
polinomio de menor grado pueda mostrar un mejor comportamiento. Tal polinomio
no pasara por algunos de los puntos. Pero la medicion de todo proceso real conlleva
errores que podran explicar tal fenomeno.
Ejemplo 8.2 (Ajuste por mnimos cuadrados) Con los mismos datos del ejemplo anterior calcular el polinomio de grado 7 que mejor se ajusta a los datos en el
sentido de los mnimos cuadrados.
Siguiendo los mismos pasos que en el ejemplo anterior lo que buscamos es un polinomio de grado a lo mas n
1 m
1
ppxq  a0

a1 x



an
1 xn
1

tal que }ppxq
y }2 sea mnimo. Aqu, ppxq es el vector cuya i-esima componente es
ppxi q y el vector y es el que tiene por i-esima componente yi .
Ahora bien, si

1 x1 x21    x1n
1
1 x
x22    x2n
1 
2


A   .. ..

.. . . ..

.
..
.
.
2
n
1
1 xm xm    xm

es la matriz de Vandermonde truncada y c  pa0 , a1 , . . . , an
1 q es el vector de los

coeficientes de p tenemos que ppxq  Ac. As que se trata de hallar un vector c en
el que se alcance
mnn }Ax
y }2 .

x C

En la Figura 8.2 se presenta la grafica producida por MATLAB del polinomio de

grado 7 que mejor se ajusta a los datos pai , bi q en el sentido de los mnimos cuadrados.
El problema de mnimos cuadrados correspondiente se calcula en el interior de la
sentencia ployfit. El resto del codigo de MATLAB que se muestra es el mismo que
en el apartado anterior.
Una observacion final antes de abordar la solucion del problema de mnimos cuadrados y los algoritmos correspondientes. Una variante del problema de encontrar

8.2 La solucion del problema de mnimos cuadrados

Figura 8.2:

a=-5:5
A=fliplr(vander(a))
b=[0 0 0 1 1 1 0 0 0 0 0];
p=polyfit(a,b,7);
t=linspace(-5.3,5.3);
plot(t, polyval(p,t),a,b,r*,...
markersize,10);
axis([-6 6 -3 5]);
zeroaxes

4
3
2
1
6

163

1
2
3

el polinomio de grado a lo mas n
1 que mejor se ajusta a una nube de m puntos,

pxi, yiq, distribudos en el plano es el de encontrar la funcion
pxq  c1 1 pxq

c2 2 pxq



cn n pxq,

que mejor se ajusta a una de tales nubes de puntos. Aqu 1 , 2 ,. . . , n son funciones
dadas, o de las que uno sospecha que una combinacion lineal de ellas puede ajustarse
bien a los datos. En este caso el problema se reduce a calcular el vector c donde se
alcanza el mnimo:
mn }Ax
y }2 ,

x C

siendo A P Fmn la matriz cuyo elemento en la posicion pi, j q es j pxi q y siendo y el

vector cuyas componetes son y1 , . . . , ym .

8.2.

La soluci
on del problema de mnimos cuadrados

En esta seccion demostramos el resultado que nos da la solucion del problema de

mnimos cuadrados. Geometricamente la situacion es muy simple (vease la Figura
8.3): el vector de Im A cuya distancia a b es mnima es la proyeccion ortogonal de b
sobre Im A. Y la distancia mnima es la norma del residuo. Esto es lo que nos dice
el siguiente Teorema.

164

El Problema de Mnimos Cuadrados

r=Ax0b
b

Ax

Im A

Figura 8.3: La solucion del problema de mnimos cuadrados

Teorema 8.3 Sean A P Fmn , F  R o C, y b P Fm1 , m n. Sea PA la proyeccion
ortogonal sobre Im A. Entonces, Ax0 cumple

}Ax0
b}2  m
n }Ax
b}2
xPF
n

si y solo si se cumple cualquiera de las siguientes condiciones que son equivalentes:

 PAb.
b
Ax0 P pIm AqK .
A Ax0  A b.

(i) Ax0
(ii)
(iii)

Ademas, la solucion x0 es u
nica si y solo si rang A  n.
En la demostracion se usa el teorema de Pitagoras: Si x, y P Cn son ortogonales
entonces }x y }22  }x}22 }y }22 . En efecto, }x y }22  px y q px y q  x x y 
x y y  x  x x y  y  }x}22 }y }22 , donde hemos usado que x y  y  x  0 porque
x e y son ortogonales.
Demostraci
on.- Todo se basa en la demostracion de la idea geometrica expuesta
mas arriba:
mnn }Ax
b}2  }PA b
b}2 .

x C

Vemaos que esto es as. En efecto

}Ax
b}22  }Ax
PAb

PA b
b}22

 }Ax
PAb}22 }PAb
b}22

8.3 Algoritmos para calcular la solucion del problema de mnimos cuadrados

165

porque Ax
PA b P Im A y PA b
b 
pI
PA qb P pImAqK y aplicando el Teorema

de Pitagoras. Por lo tanto, para todo x P Cn

}Ax
b}2 }PAb
b}2.

Pero como PA b P Im A, existe x1 P Cn tal que Ax1  PA b; i.e., }Ax1
b}2  }PA b
b}2 .
Por lo tanto mn }Ax
b}2  }PA b
b}2 , tal y como deseabamos mostrar.
xPC
n

Ahora, si Ax0 es el vector que hace mnima la distancia de Ax a b entonces

n }Ax
b}22  }Ax0
b}22  }Ax0
PA b}22 }PA b
b}22 .
}PAb
b}22  xm
PC
n

De aqu deducimos que }Ax0
PA b}2

 0; es decir, Ax0  PAb.

Solo queda demostrar la equivalencia entre las tres condiciones. Por una parte

b
Ax0  b
PAb  pI
PAqb P pIm AqK.

Y si b
Ax0 P pIm AqK entonces PA pb
Ax0 q  0 de modo que PA b  PA Ax0 . Pero
como Ax0 P Im A tenemos que PA Ax0  Ax0 . Esto demuestra la equivalencia entre
PA b  Ax0

las condiciones (i) y (ii).

Finalmente, como pIm AqK  Ker A tenemos que b
Ax0

A pb
Ax0 q  0; i. e., A Ax0  A b.

P pIm AqK si y solo si

Falta demostrar que la solucion del problema de mnimos cuadrados es u

nica si y
solo si rang A  n. Ahora bien, rang A  n si y solo si A A es invertible. Una forma
de ver esto es, por ejemplo, la siguiente: rang A  n si y solo si n pAq  0. Como
los valores singulares de A son las races cuadradas positivas de los valores propios
de A A, n  0 si y solo si todos los valores propios de A A son distintos de cero;
i.e. detpA Aq  0. Pero A A es invertible si y solo si el sistema A Ax  A b tiene
solucion u
nica.

8.3.

Algoritmos para calcular la soluci

on del problema de mnimos cuadrados

El Teorema 8.3 nos da las claves para calcular un vector x0 que solucione el problema
de mnimos cuadrados. En primer lugar, el sistema A Ax  A b recibe el nombre de

166

El Problema de Mnimos Cuadrados

ecuaciones normales del problema de mnimos cuadrados. Es el sistema que aparece

al calcular el mnimo local de la funcion
f pxq  }Ax
b}2 .
Es decir, el sistema

Bf pxq  0,
B xi

i  1, . . . , n

da lugar al sistema A Ax  A b. Como la funcion f es convexa, alcanza su mnimo

absoluto en un mnimo local.
Para resolver el sistema A Ax  A b numericamente, tendremos en cuenta la estructura especial de la matriz A A: es hermtica (simetrica en el caso real). Ademas
es definida positiva porque x A Ax  }Ax}2 0 para x  0. Ahora bien toda
matriz hermtica definida positiva admite una factorizacion de Cholesky (variante
de la factorizacion LU cuando la matriz es simetrica o hermtica). En MATLAB
el comando chol(A) devuelve la factorizacion de Cholesky de A si esta es hermtica definida positiva. Recordemos que una factorizacion de Cholesky de una matriz
hermtica definida positiva, A, es una factorizacion de la forma
A  LL
siendo L una matriz triangular superior. Esta factorizacion es especialmente apropiada para resolver sistemas lineales mediante sustitucion hacia adelante y hacia
atras.
Teniendo en cuenta todo esto podemos dar un primer algoritmo para la resolucion
del problema de mnimos cuadrados.

Algoritmo mnimos cuadrados via ecuaciones normales

Dada A P Fmn y dado b P Fm
1. Formense las matrices A A y A b.
2. Calc
ulese la factorizacion de Cholesky de A A  LL , (chol(A))

 Ab (z o sustitucion hacia adelante)

Resuelvase L x  y.(z o sustitucion hacia atras)

3. Resuelvase Ly
4.

8.3 Algoritmos para calcular la solucion del problema de mnimos cuadrados

167

Cuando A es hermtica definida positiva pero mal condicionada, el algoritmo de

Cholesky puede dar resultados muy inexactos. Por lo tanto, el algoritmo anterior
no es adecuado para resolver el problema de mnimos cuadrados. Una posibilidad
sera usar la factorizacion QR de A A para conseguir la factorizacion de Cholesky
de A A en vez del algoritmo de Cholesky. En efecto, si A  QR es la factorizacion
QR reducida de A, entonces
A A  R Q QR  R R  LL ,
donde hemos utilizado que Q Q  In , por tener Q columnas ortonormales, y hemos
puesto L  R . Esto nos muestra que si A es de rango completo, la factorizacion de
Cholesky de A A es u
nica. Esta alternativa, sin embargo, carece de sentido porque
la ventaja del algoritmo de Choleski es que su coste es  n2 (mientras que el de
la factorizacion QR sera de orden c
ubico) y hay otros algoritmos que, cuando el
de Choleski no es aconsejable, usan la factorizacion QR y solo precisan resolver un
sistema triangular. Presentamos a continuacion uno de tales algoritmos.
En el segundo algoritmo se trata de conseguir la solucion, x0 , como solucion del
sistema Ax0  PA b. Para ello, debemos conseguir PA , que es la proyeccion ortogonal
sobre Im A. Recordemos que PA  QQ , donde Q es una matriz cuyas columnas
son una base ortonormal de Im A. Recordemos que si A  QR es una factorizacion
QR de A entonces las columnas de Q son una base ortonormal de Im A y, por
consiguiente, QQ es la proyeccion ortogonal sobre Im A.

Algoritmo mnimos cuadrados via factorizaci

on QR
Dada A P Fmn y dado b P Fm
1. Hallese la factorizacion QR, reducida, de A
2. Calc
ulese Q b.
3. Resuelvase Rx  Q b (z o sustitucion hacia atras)

Estos dos algoritmos pueden presentar problemas si la matriz A es singular o muy

proxima a serlo; i.e., pAq es muy grande. Si la situacion es esta, tenemos una
alternativa: los valores singulares.

168

El Problema de Mnimos Cuadrados

8.3.1.

El problema de mnimos cuadrados y la inversa MoorePenrose

La inversa generalizada de Moore-Penrose se puede definir como la matriz que soluciona el problema de mnimos cuadrados. Es decir, de la misma que la solucion del
sistema Ax  b es x  A
1 b siempre que A sea invertible, la solucion del problema
de mnimos cuadrados es x0  A: b. Veremos que esto es, en efecto as, y que este hecho nos proporciona un algoritmo alternativo para resolver el problema de mnimos
cuadrados.
Recordemos que x0 es solucion del problema se mnimos cuadrados si y solo si es
solucion del sistema Ax  PA b, siendo PA la proyeccion ortogonal sobre Im A. Recordemos tambien que si r  rang A y A  U V  es una descomposicion completa
de A en valores singulares, entonces las r primeras columnas de U son una base ortonormal de Im A. (Proposicion 3.10). Sea Ur la submatriz de U formada por sus r
primeras columnas. Como son una base ortonormal de Im A, la matriz Ur Ur es la
proyeccion ortogonal sobre Im A. Es decir, PA  Ur Ur . As pues, si ponemos


r 0
0 0

entonces el sistema Ax  PA b es equivalente a



Ur r 0 V  x  Ur Ur b.
Y este sistema es equivalente a r 0 V  x  Ur b dado que Ur Ur
c  Ur b y y  V  x. Entonces,


Ax  PA b r 0 y
Si r

 Ir . Pongamos

 c.

 Diagp1, . . . , r q, la solucion general de este sistema es

y

 c1{1

c2 {2



cr {r yr



yn

T

con yr 1 ,. . . , yn , n
umeros arbitrarios. Si el rango de A es completo, n, la solucion del
sistema queda completamente determinada; cosa que ya habamos demostrado. Pero
si rang A n entonces hay infinitas soluciones del problema de mnimos cuadrados.
Entre ellas, se suele escoger la solucion de norma mnima. Y esta es la que se consigue
haciendo yr 1      yn  0. Finalmente, como y  V  x, tenemos que x  V y.

8.3 Algoritmos para calcular la solucion del problema de mnimos cuadrados

169

Ademas, }x}2  }V y }2  }y }2 . En definitiva, el vector x0 de norma mnima que

soluciona el problema de mnimos cuadrados es:


c1 {1
c2 {2 


 .. 
 . 

c1 {1
c { 


 2 2
x0  V y0  V cr {r   Vr  ..  ,


 . 
 0 
 . 
cr {r
 .. 
0
donde Vr es la submatriz de V formada por sus r primeras columnas.
Ahora vamos a volver hacia atras a fin de recuperar la solucion del problema
en terminos de los datos originales: A y b. Recordemos, antes de nada, que con
las notaciones introducidas A  Ur r Vr es una descomposicion reducida de A en
valores singulares. En consecuencia
A:

 Vr
r 1Ur

es la inversa generalizada o Moore-Penrose de A.

Ahora bien,

c1 {1
c { 
 2 2
1

1 
x0  Vr  ..   Vr

r c  Vr r Ur b,
 . 
cr {r

porque c  Ur b. As pues, el vector de norma mnima que soluciona el problema de

mnimos cuadrados es
x0

 Vr
r 1Urb  A:b

tal y como habamos anunciado.

Este proceso, ademas, nos proporciona un algoritmo para calcular la solucion del
problema de mnimos cuadrados en el caso mas general.

170

El Problema de Mnimos Cuadrados

Algoritmo mnimos cuadrados via valores singulares

Dada A P Fmn y dado b P Fm
1. Calcular la descomposicion reducida de A en valores singulares:
A  U V  , U P Fmr , V P Fnr y  Diagp1 , . . . , r q.
2. Calcular c  U  b.
3. Calcular x  V
1 c. Este es el vector de menor norma que soluciona el problema de mnimos cuadrados.

8.4.

El condicionamiento del problema de mnimos cuadrados

El condicionamiento del problema de mnimos cuadrados es un tema importante porque tiene implicaciones no triviales en el estudio de la estabilidad de los algoritmos
para este problema. Como es habitual analizaremos en detalle el condicionamiento del problema y estudiaremos la estabilidad de los algoritmos mediante ejemplos
significativos.
Recordemos que el problema de mnimos cuadrados consiste en lo siguiente (supondremos en lo sucesivo que la matriz del sistema tiene rango completo):
Dada A P Fmn de rango completo y m n, y dado b P Fm ,
calcular x P Fn para que }Ax
b}2 sea mnima.

(8.2)

Ya sabemos que, en este caso, la solucion del problema es u

nica y viene dada por
x  A: b
donde A: P Fnn es la pseudoinversa o inversa generalizada de Moore-Penrose de A
(ver 3.6). Ademas, si y  Ax es el vector en Im A mas proximo a b entonces
y

 P b,

8.4 El condicionamiento del problema de mnimos cuadrados

171

siendo P la proyeccion ortogonal sobre Im A.

Nuestro objetivo es estudiar el condicionamiento del Problema (8.2) respecto a perturbacione en A y en b. Es decir, los datos del problema son la matriz A y el vector
b. La solucion es el vector de coeficientes x o el correspondiente vector y  Ax.
As pues
Datos: A, b.
Soluciones: x, y.
Tenemos as, en realidad, cuatro posibles cuestiones de condicionamiento: Error
relativo en x o y respecto a peque
nas perturbaciones en los datos b o A.
El objetivo en esta seccion es dar un resultado fundamental sobre el condicionamiento del problema de mnimos cuadrados. Para entender el enunciado y como apoyo
a la demostracion necesitamos introducir algunos conceptos y un par de resultados
auxiliares. En primer lugar debemos recordar que para una matriz A P Fmn de
rango completo n el n
umero de condicion es
2 pAq  }A}2 }A: }2

 1 .
n

r=Axb
y=Ax=Pb

Im A

Figura 8.4: El problema de mnimos cuadrados.

En segundo lugar, necesitamos el conceto de angulo entre dos vectores de Fm . Lo
definimos, como es habitual, a partir de la desigualdad de Cauchy-Schwartz: si x, y P
Fm entonces
|xy| }x}2}y}2,

172

El Problema de Mnimos Cuadrados

de modo que

1 }x}x }yy} 1.
2

Se define, entonces el angulo, , de x, y como

 arc cos }x}x }yy}

2

Equivalentemente
cos

 }x}x }yy}
2

.
2

En nuestro caso, para calcular el angulo de b e y debemos hacer el producto escalar

b y  b P b. Teniendo en cuenta que P es una proyeccion (P 2  P ) ortogonal
pP   P ) resulta que
b y

 bP b  bP P b  bP P b  }P b}22  }y}22.

As pues

 }}yb}}2 .
2
Para el seno usamos la identidad sen2  1
cos2 :
}y}22  }b}22
}y}22 .
sen2  1

}b}22
}b}22
Ahora bien, b  y b
y siendo y y b
y ortogonales (y P Im A y b
y 
b
P b  pIm
P qb P pIm AqK ). Por consiguiente, usando el Teorema de Pitagoras,
}b}22  }y}22 }b
y}22 y
}b
y }2
sen 
}b}
cos

Todas estos resultados generalizan los habituales en R2 (Figura 8.4)

En tercer lugar, para cualquier norma inducida }Ax} }A} }x}. Necesitaremos una
medidad de lo lejos o cerca que esta }y }  }Ax} de su maximo valor posible:

2 }x}2
 }A}}y2 }}x}2  }A}}Ax
} .
2

Estos parametros tienen el siguiente rango de variacion:

1 pAq 8 0

{2

pAq

8.4 El condicionamiento del problema de mnimos cuadrados

173

Todas estas acotaciones son claras excepto, quiza, la u

ltima que viene de la siguiente
observacion:
}x}2  }A
1Ax}2 }A
1}2}Ax}2,
de modo que

}
A}2 }A
1 }2 }Ax}2
 2pAq.

}Ax}2

El resultado previo que necesitamos es el siguiente

Lema 8.4 Para A P Fmn de rango completo n se tiene:

}pAAq
1A}2  1 .

(8.3)

}pAAq
1}2  12

(8.4)

siendo 1

   n los valores singulares de A.

Demostraci
on.- La propiedad (8.4) es una consecuencia inmediata de que los valores singulares de A son las races cuadradas positivas de los valores propios de A A,
y de que 1{n2 es el mayor valor singular de pA Aq
1 (ver Porposiciones 3.12 y 3.16).
Para probar la propiedad (8.3) se usa el Teorema SVD para ver que los valores
singulares de pA Aq
1 A y los de A: coinciden.
Podemos ahora plantear y demostrar el resultado principal
Teorema 8.5 Sean b P Fm y A P Fmn con b  0 y rang A  n m. Para el
problema de mnimos cuadrados (8.2) se cumplen las siguientes propiedades, todo
respecto de la norma `2 :
(i) El n
umero de condicion del problema de calcular y
1
.
cos

 Ax P Fn respecto de b es
(8.5)

174

El Problema de Mnimos Cuadrados

(ii) El n
umero de condicion del problema de calcular x P Fn respecto de b es
2 pAq
.
cos

(8.6)

(iii) Sea x la solucion del problema de mnimos cuadrados relativo a minimizar

}2 n entonces
}pA Aqx
b}2. Si y  pA Aqx y   }}A
A}2
1

}y
y}2  2pAq
}y}2
cos

Op2 q.

(8.7)

(iv) En las mismas condiciones del apartado anterior

}x
x}2   pAq
2
}x}2

2 pAq2 tan

Op2 q.

(8.8)

(v) Sea x es la solucion del problema de mnimos cuadrados relativo a minimizar

}pA Aqx
pb bq}2. Si sen  1 y
  max

"

}A}2 , }b}2 * n
}A}2 }b}2
1

   n los valores singulares de A, entonces

*
}x
x}2  " pAq  1
2 pAq2 tan
1
2
}x}2
cos

siendo 1

Op2 q.

(8.9)

En el caso especial en que m  n, el problema de mnimos cuadrados se reduce al

de la resolucion de un sistema de ecuaciones lineales. En tal caso  0 y las cotas
de (8.6) y (8.8) se reducen a 2 pAq{ y 2 pAq recuperando los resultados vistos en
la Leccion 4.
Demostraci
on.- Demostraremos las propiedades (i) y (v). La propiedad (ii) se
demuestra de manera muy similar a la propirdad (i), la propiedad (iv) es una caso
particular de la (v) y la propiedad (iii) requiere una demostracion independiente
pero parecida a la (iv).
(i) La relacion entre b e y es
y

 Pb

8.4 El condicionamiento del problema de mnimos cuadrados

175

siendo P la proyecccion ortogonal sobre Im A. Vimos en la Seccion 4.3 del Captulo

4 que el n
umero de condicion del problema de multiplicar Ax para A dada y x
variable:
f : Fn
Fm
x ; b  Ax
es


}f 1pxq}  }A} }x} ,

}f pxq}{}x} }Ax}

(8.10)

En nuestro caso se trata del n

umero de condicion del problema y
b para P dado. Entonces
}P }2}b}2
pbq 
}y }2

 P b respecto de

Como P es una proyeccion ortogonal

P  QQ para alguna matriz Q P Fnm con

r una matriz unitaria. Entonces
columnas ortonormales. Sea U  Q Q
U P U



Q
I 0

r
QQ Q Q  n

r
0 0
Q

Por lo tanto, los valores singulares de P son todos iguales a 1 y en particular

}P }2  1pP q  1
}y}2 . En conclusion:
Finalmente, recordemos que cos 
}b}2
}P }2}b}2  1 ,
pbq 
}y}2
cos
tal y como se deseaba demostrar.

}2 n
 1 A y f  1 b. Por hipotesis, }}A
A}2
1
y como }A}2  1 , tenemos que }A}2 n . Por el Teorema 3.18 resulta que
rangpA Aq  n y consecuentemente rangpA tE q  n para todo t P r0, s. Se
(v) En primer lugar definimos E

sigue entonces que el sistema

pA

tE q pA

tE qxptq  pA

tE q pb

tf q

(8.11)

176

El Problema de Mnimos Cuadrados

tiene una u
nica solucion para cada t P r0, s. Invertir una matriz es una funcion
diferenciable en los elementos de la matriz. Por lo tanto x es una funcion diferenciable
de t en r0, s. Por la definicion de diferencial
x1 p0q

xpq  xp0q

Op2 q.

Como xpq  x, xp0q  x, b  0 y sen

 1, tenemos que x  0 y
}x
x}2   }x1p0q}2 Op2q.
(8.12)
}x}2
}x}2
Necesitamos una estimacion de }x1 p0q}2 . Para ello calculamos x1 p0q en (8.11). Primero derivamos
E  pA tE qxptq

tE q Exptq

pA

pA

tE q pA tE qx1 ptq  E  ppb tf q

tE q f,

pA

y sustitumos t  0 recordando que xp0q  x:

E  Ax
As

A Ex

x1 p0q  pA Aq
1 A pf

A Ax1 p0q  A f

E  b.

Exq pAAq
1E pb
Axq.

Tomando normas:

}x1p0q}2 }pAAq
1A}2p}f }2 }E }2}x}2q }pAAq
1}2}E }2}b
Ax}2.

Por una parte, }E }2

 1 }A}2 }A}2. Y de la misma forma }f }2 }b}2. Tambien

}A}2  }A}2, as que

}x1p0q}2 }pAAq
1A}2p}A}2}x}2 }b}2q

}pAAq
1}2}A}2}b
Ax}2
}2 .
}pAAq
1A}2}A}2 }}Ab}}2 }x}2 }pAAq
1}2}A}22 }b
}AAx
}
2

Por otra parte, por el Lema 8.4,

2 pAq2 . Entonces

}pAAq
1A}2}A}2  2pAq y }pAAq
1}2}A}22 

}x1p0q}2 pAq  }b}2{}Ax}2

2
}x}2
}A}2}x}2{}Ax}2

2 pAq2

}b
Ax}2{}Ax}2 .
}A}2}x}2{}Ax}2

8.5 Estabilidad de los algoritmos para el problema de mnimos cuadrados

Ahora bien,

}2}x}2 , cos  }Ax}2

 }A}Ax
}
}b}
2

y tan

177

}2 . En consecuencia
 }b}
AxAx
}
2

}x1p0q}2 pAq  1
2
}x}2
cos

2 pAq2

tan

sustituyendo en (8.12)

}x
x}2  " pAq  1

2
}x}2
cos

2 pAq2 tan

Op2 q,

tal y como se quera demostrar.

8.5.

Estabilidad de los algoritmos para el problema de mnimos cuadrados

Un estudio experimental de la estabilidad de los algoritmos para la resolucion del

problema de mnimos cuadrados lineal es el objetivo de una de las practicas obligatorias con MATLAB que habra de realizarse en este curso. En ella se plantea
un problema de mnimos cuadrados cuya solucion debe ser calculada con los tres
algoritmos vistos en la Seccion 8.3. A su vez, para los algoritmos basados en la factorizacion QR, se utilizaran los tres algoritmos vistos en las Lecciones 6 y 7; es decir,
los algoritmos clasico y modificado de Gram-Schmidt y el algoritmo de Householder.
A traves de dicho experimento se comprobara que los algoritmos basados en la resolucion de las ecuaciones normales y el factorizacion de Cholesky as como los basados
en la factorizacion QR obtenida con los algoritmos de Gram-Schmidt pueden dar
resultados con mucho error si la matriz del sistema esta mal condicionada. Por lo
tanto, estos algoritmos son inestables. No obstante, hay resultados (ver [11, Sec
20.4]) que muestran que para matrices bien condicionadas el algoritmo basado en la
resolucion de las ecuaciones normales es estable hacia atras y para valores de m mucho mayores que n, el coste operacional sensiblemente menor que el metodo basado
en la factorizacion QR mediante reflexiones de Householder. En tale situaciones, el
metodo basado en la resolucion de las ecuaciones normales sera el preferido. Por
otra parte, a pesar de que el metodo basado en la factorizacion QR mediante el
algoritmo modificado de Gram-Schmidt es inestable cuando se implementa de la
manera indicada en la Seccion 8.3, hay una forma de hacerlo que lo hace estable

178

El Problema de Mnimos Cuadrados

hacia atras (ver [11, Sec 20.3]). Finalmente, los algoritmos basados en la factorizacion QR mediante reflexiones de Householder y valores singulares son estables hacia
atras para sistemas en los que A es una matriz de rango completo. A continuacion
se enuncian los teoremas que lo hace explto.
Teorema 8.6 Supongamos que el problema de mnimos cuadrados con una matriz
A de rango completo se resuelve mediante el algoritmo QR por reflexiones de Householder o mediante la descomposicion en valores singulares en un ordenador que
cumple los axiomas (5.2) y (5.4) de la Leccion 5. Este algoritmo es estable hacia
atras: para cada A P Fmn (m n y rang A  n) existe una perturbacion A tal
que
}A}  Op q
M
}A}
p producida por el algoritmo satisface
y la solucion x

}pA

p
b}2
Aqx

 m
n }pA
xPF
n

Aqx
b}2 .

Para terminar, conviene mencionar que si la matriz A no es de rango completo,

sabemos que la solucion no esta determinada de forma u
nica y el u
nico algoritmo
completamente estable es el basado en la descomposicion de A en valores singulares.