Clases 7

Econometra
Tom
as Rau
Modelo de
Regresi
on con
k variables
Representaci
on
Matricial del
Modelo de
Regresi
on Lineal
Estimador
Mnimo
Cuadrados
Ordinarios

Propiedades
del estimador
MCO
Propiedad BLUE
o MELI
Teorema de
Gauss-Markov

Clases 7
Econometra
Tom
as Rau

27 de marzo

Contenidos
Clases 7
Econometra
Tom
as Rau
Modelo de
Regresi
on con
k variables
Representaci
on
Matricial del
Modelo de
Regresi
on Lineal
Estimador
Mnimo
Cuadrados
Ordinarios

Propiedades
del estimador
MCO
Propiedad BLUE
o MELI
Teorema de
Gauss-Markov

1 Modelo de Regresi
on con k variables

Representaci
on Matricial del Modelo de Regresi
on Lineal
Estimador Mnimo Cuadrados Ordinarios

1 Propiedades del estimador MCO

Propiedad BLUE o MELI

Teorema de Gauss-Markov

Modelo de Regresion con k variables

Clases 7
Econometra
Tom
as Rau
Modelo de
Regresi
on con
k variables
Representaci
on
Matricial del
Modelo de
Regresi
on Lineal
Estimador
Mnimo
Cuadrados
Ordinarios

Propiedades
del estimador
MCO
Propiedad BLUE
o MELI
Teorema de
Gauss-Markov

Ahora abandonemos la simplificaci

on de s
olo usar dos variables,
de ahora en adelante generalizaremos el modelo de regresion
lineal para que pueda tener hasta k variables explicativas.
Aclaraci
on: haremos un peque
no cambio de notaci
on, cada
observaci
on i de la variable dependiente sera denotada por yi y
cada observaci
on i de una variable explicativa, por ejemplo X1 ,
sera denotada por x1i . Ahora las variables en min
uscula no
significa que esten en desvos.
El Modelo de Regresi
on Poblacional en este caso es:
yi = 1 + 2 x2i + ... + k xki + ui

i = 1, ..., n

Modelo de Regresion con k variables

Clases 7
Econometra
Tom
as Rau
Modelo de
Regresi
on con
k variables
Representaci
on
Matricial del
Modelo de
Regresi
on Lineal
Estimador
Mnimo
Cuadrados
Ordinarios

Propiedades
del estimador
MCO
Propiedad BLUE
o MELI
Teorema de
Gauss-Markov

El modelo con k variables explicativas puede ser expresado en

notaci
on matricial. En efecto, cada variable explicativa xj , con
j=1,..., k, es un vector columna de dimensi
on n, al igual que la
variable dependiente y el termino de error.
De este modo, el modelo puede ser reescrito de
forma:

y1
1
x21
xk1
y2 1
x22
xk2

.. = .. 1 + .. 2 + .. +
..
. .
.

.
yn
1
x2n
xkn

la siguiente

k +

u1
u2
..
.
un

Modelo de Regresion con k variables

Clases 7
Econometra
Tom
as Rau
Modelo de
Regresi
on con
k variables
Representaci
on
Matricial del
Modelo de
Regresi
on Lineal
Estimador
Mnimo
Cuadrados
Ordinarios

Propiedades
del estimador
MCO
Propiedad BLUE
o MELI
Teorema de
Gauss-Markov

Donde las variables explicativas se pueden agrupar en una sola

matriz de dimensi
on nk, que denotaremos simplemente como
X, de esta manera el modelo se expresa de la siguiente forma:

y1
1 x21 x31 xk1
1
u1
y2 1 x22 x32 xk2 2 u2

.. = ..
..
.. . .
.. .. + ..
. .
.
.
.
. . .
yn

1 x2n x3n xkn

un

Y = X + u
donde Y es un vector de dimensi
on n1, X es la matriz de
variables explicativas de dimensi
on nk y u es un vector
correspondiente al termino de error con dimension n1.

Modelo de Regresion con k variables

Clases 7
Econometra
Tom
as Rau
Modelo de
Regresi
on con
k variables
Representaci
on
Matricial del
Modelo de
Regresi
on Lineal
Estimador
Mnimo
Cuadrados
Ordinarios

Propiedades
del estimador
MCO
Propiedad BLUE
o MELI
Teorema de
Gauss-Markov

Ahora debemos expresar la distribuci

on del termino de error en
terminos matriciales:

E (u1 )
E (u2 )

E (u) =
= 0
..

n1
.

E (uu ) =

E (un )

E (u12 ) E (u1 u2 ) E (u1 un )

E (u2 u1 ) E (u22 ) E (u2 un )
..
..
..
..
.
.
.
.
E (un u1 ) E (un u2 ) E (un2 )

2
0 0
0 2 0

2
I
..
.. . .
.. = nn

.
.
.
.
0

0 2

Modelo de Regresion con k variables

Clases 7
Econometra
Tom
as Rau
Modelo de
Regresi
on con
k variables
Representaci
on
Matricial del
Modelo de
Regresi
on Lineal
Estimador
Mnimo
Cuadrados
Ordinarios

Propiedades
del estimador
MCO
Propiedad BLUE
o MELI
Teorema de
Gauss-Markov

De los supuestos 3, 4 y 5, tenemos entonces que el termino de

error tiene la siguiente distribuci
on:


2
u 0 , I
(1)
n1

nn

El metodo de MCO, plantea que los par

ametros del modelo
pueden ser estimados minimizando la suma de los errores al
la que en terminos matriciales equivale a:
cuadrado (SE ()),
=
SE ()

n
X

(Y X )

ui2 = u u = (Y X )

i =1

Antes de derivar esa expresion, debemos

donde u = Y X .
aprender algunas reglas de derivacion de vectores:

Modelo de Regresion con k variables

Clases 7
Econometra
Tom
as Rau
Modelo de
Regresi
on con
k variables
Representaci
on
Matricial del
Modelo de
Regresi
on Lineal
Estimador
Mnimo
Cuadrados
Ordinarios

Propiedades
del estimador
MCO
Propiedad BLUE
o MELI
Teorema de
Gauss-Markov

Si A es una matriz y x un vector y los productos Ax y xAx son

conformables, tenemos que:
xA
Ax
= A ;
=A
x
x
xAx
= (A + A)x = 2Ax si A es simetrica
x

donde la u
ltima igualdad ocurre si A es simetrica. Luego,
aplicando las reglas de c
alculo diferencial matricial a S tenemos

Modelo de Regresion con k variables

Clases 7
Econometra
Tom
as Rau
Modelo de
Regresi
on con
k variables
Representaci
on
Matricial del
Modelo de
Regresi
on Lineal
Estimador
Mnimo
Cuadrados
Ordinarios

Propiedades
del estimador
MCO

h
i
(Y X )

= mn (Y X )
mn SE ()

h
i
= mn Y Y 2 X Y + X X

SE ()
= 2X Y + 2X X = 0

(2)

= (X X )1 X Y

(3)

Propiedad BLUE
o MELI
Teorema de
Gauss-Markov

De (2) tenemos:
= 0 X u = 0
X (Y X )
y esta es la condicion de ortogonalidad.

(4)

Modelo de Regresion con k variables

Clases 7
Econometra
Tom
as Rau

De esta forma, el vector de par

ametros estimados se obtiene
de resolver el siguiente sistema de ecuaciones normales:
X X = X Y

Modelo de
Regresi
on con
k variables
Representaci
on
Matricial del
Modelo de
Regresi
on Lineal
Estimador
Mnimo
Cuadrados
Ordinarios

Propiedades
del estimador
MCO
Propiedad BLUE
o MELI
Teorema de
Gauss-Markov

x2,1 x2,2

..
..
.
.
xk,1 xk,2

1 1
1 x2,1 x3,1 xk,1
1 x2,2 x3,2 xk,2
x2,n

..
.. ..
..
..
..
..
..
.
.
.
. .
.
.
.
xk,n
1 x2,n x3,n xk,n

1
1
1 1
x2,1 x2,2 x2,n

= .
..
..
.
..
..
. ..
.
.
xk,1 xk,2 xk,n

1
2
..
.
k
y1
y2
..
.
yn

Modelo de Regresion con k variables

Clases 7
Econometra
Tom
as Rau
Modelo de
Regresi
on con
k variables
Representaci
on
Matricial del
Modelo de
Regresi
on Lineal
Estimador
Mnimo
Cuadrados
Ordinarios

Propiedades
del estimador
MCO
Propiedad BLUE
o MELI
Teorema de
Gauss-Markov

Pn n
x
Pin=1 2,i
i =1 x3,i
..
Pn .
i =1 xk,i

Pn
Pin=1 x2,i
x2
Pn i =1 2,i
i =1 x3,i x2,i
..
Pn .
i =1 xk,i x2,i

P

P ni=1 xk,i
1
n

x x
2
Pin=1 2,i k,i

i =1 x3,i xk,i
3
..
.. ..
..
.
.
. .
Pn
2

k
i =1 xk,i
Pn
i =1 yi
Pn yi x2,i
Pni =1

=
i =1 yi x3,i

..

Pn .
i =1 yi xk,i

Modelo de Regresion con k variables

Clases 7
Econometra
Tom
as Rau
Modelo de
Regresi
on con
k variables
Representaci
on
Matricial del
Modelo de
Regresi
on Lineal
Estimador
Mnimo
Cuadrados
Ordinarios

Propiedades
del estimador
MCO
Propiedad BLUE
o MELI
Teorema de
Gauss-Markov

Es importante recordar que el estimador MCO esta definido

solo cuando la matriz (XX) es invertible, lo que ocurre siempre
y cuando:
1

Las k columnas de la matriz X sean linealmente

independientes.

Se disponga al menos de tantas observaciones como

variables explicativas, es decir: n k.(Supuesto 7)

Pongamos atenci
on en el segundo supuesto, cuando n=k la
matriz X tiene dimensi
on kk, por lo tanto salvo que no se
cumpla el supuesto 8, X es invertible, y de esta forma
(X X )1 = X 1 (X )1 y por lo tanto:
= (X X )1 X Y = X 1 (X )1 X Y = X 1 Y

(5)

Modelo de Regresion con k variables

Clases 7
Econometra
Tom
as Rau
Modelo de
Regresi
on con
k variables
Representaci
on
Matricial del
Modelo de
Regresi
on Lineal
Estimador
Mnimo
Cuadrados
Ordinarios

Propiedades
del estimador
MCO
Propiedad BLUE
o MELI
Teorema de
Gauss-Markov

el vector de residuos
u = Y X = Y X (X 1 Y ) = Y Y = 0n , de esta forma el
ajuste es perfecto, ya que todos los residuos son cero, la suma
residual de igual forma toma el mnimo valor posible, cero.
Sin embargo, esta no es una caracterstica deseable, el ajuste
perfecto ocurre porque tenemos una muestra muy reducida.
Esto trae como consecuencia poco robustez e imprecision en
las estimaciones. Que pasa con
2?
Necesitamos tener un n
umero de observaciones notablemente
superior al de las variables explicativas (ejemplo 2x2). La
diferencia n-k se conoce como el n
umero de grados de libertad
de la estimacion.

Propiedades del estimador MCO

Clases 7
Econometra
Tom
as Rau
Modelo de
Regresi
on con
k variables
Representaci
on
Matricial del
Modelo de
Regresi
on Lineal
Estimador
Mnimo
Cuadrados
Ordinarios

Propiedades
del estimador
MCO
Propiedad BLUE
o MELI
Teorema de
Gauss-Markov

Notemos que el vector es un vector aleatorio, ya que depende

del vector de errores:
= (X X )1 X Y = (X X )1 X (X + u) = + (X X )1 X u
= E () + E [(X X )1 X u]
E ()
= + (X X )1 X E (u)

Propiedades del estimador MCO

Clases 7
Econometra
Tom
as Rau
Modelo de
Regresi
on con
k variables
Representaci
on
Matricial del
Modelo de
Regresi
on Lineal
Estimador
Mnimo
Cuadrados
Ordinarios

Propiedades
del estimador
MCO
Propiedad BLUE
o MELI
Teorema de
Gauss-Markov

La esperanza de es el mismo par

ametro, ya que este es un
constante (valor poblacional), y por supuestos 2 y 3 el segundo
termino de la expresion anterior es cero,
=
E ()
Es decir, el estimador MCO es insesgado, tal como lo
habamos mostrado anteriormente.
Luego, podemos definir el error de estimacion como:
= (X X )1 X u

(6)

Propiedades del estimador MCO

Clases 7
Econometra
Tom
as Rau
Modelo de
Regresi
on con
k variables
Representaci
on
Matricial del
Modelo de
Regresi
on Lineal
Estimador
Mnimo
Cuadrados
Ordinarios

Propiedades
del estimador
MCO
Propiedad BLUE
o MELI
Teorema de
Gauss-Markov

Necesitamos obtener la
Ahora calculemos la varianza de :
varianza de un vector, para eso necesitamos la esperanza de la
siguiente forma cuadr
atica
= E [( E ())
( E ())
]
var ()
= E [( ) ( ) ]
= E [(X X )1 X uu X (X X )1 ]
= (X X )1 X E (uu )X (X X )1
= (X X )1 X ( 2 In )X (X X )1
= 2 (X X )1
(7)
Para poder estimar la varianza de necesitamos reemplazar 2
en (5) por su estimador insesgado:

e2 =

u u
nk

Propiedad BLUE
Clases 7
Econometra
Tom
as Rau
Modelo de
Regresi
on con
k variables
Representaci
on
Matricial del
Modelo de
Regresi
on Lineal
Estimador
Mnimo
Cuadrados
Ordinarios

Propiedades
del estimador
MCO
Propiedad BLUE
o MELI
Teorema de
Gauss-Markov

es el mejor estimador lineal insesgado (MELI o

Se dice que ,
BLUE) de si se cumple lo siguiente:
1

El lineal, es decir, es una funcion lineal de una variable

aleatoria, como la variable y en el modelo de regresion.
es igual a
Es insesgado, es decir, su valor esperado, E (),
el verdadero valor, .
Tiene varianza mnima dentro de la clase de todos los
estimadores lineales insesgados; un estimador insesgado
como varianza mnima es conocido como un estimador
eficiente.

Gauss-Markov
Clases 7
Econometra
Tom
as Rau
Modelo de
Regresi
on con
k variables
Representaci
on
Matricial del
Modelo de
Regresi
on Lineal
Estimador
Mnimo
Cuadrados
Ordinarios

Propiedades
del estimador
MCO
Propiedad BLUE
o MELI
Teorema de
Gauss-Markov

Proposici
on: El estimador MCO es el estimador lineal
insesgado optimo, en el sentido de que cualquier otro estimador
lineal e insesgado tiene una matriz de covarianza mayor que la
del estimador MCO. Es decir, el estimador MCO es MELI
(BLUE).
e un estimador lineal de , donde A
e
Demostraci
on: Sea e = Ay

e
es una matriz kn. Definamos A = A (X X ) X , de modo
que:
e = [A + (X X )1 X ]Y

= [A + (X X )1 X ](X + u)

= AX + + [A + (X X )1 X ]u
Aplicando esperanza a la expresion anterior:

Gauss-Markov
Clases 7
Econometra
Tom
as Rau
Modelo de
Regresi
on con
k variables
Representaci
on
Matricial del
Modelo de
Regresi
on Lineal
Estimador
Mnimo
Cuadrados
Ordinarios

Propiedades
del estimador
MCO
Propiedad BLUE
o MELI
Teorema de
Gauss-Markov

e = AX + + [A + (X X )1 X ]E (u)
E ()
= AX +

El estimador e ser
a insesgado solo si la matriz A es tal que
AX=0kk . De esta forma:
e = + [A + (X X )1 X ]u

y su matriz de covarianza ser

a:

e = E [(e )(e ) ]
cov ()

= E {([A + (X X )1 X ]u)([A + (X X )1 X ]u) }

= 2 AA + 2 (X X )1
| {z }

cov ()

Gauss-Markov
Clases 7
Econometra
Tom
as Rau
Modelo de
Regresi
on con
k variables
Representaci
on
Matricial del
Modelo de
Regresi
on Lineal
Estimador
Mnimo
Cuadrados
Ordinarios

Propiedades
del estimador
MCO
Propiedad BLUE
o MELI
Teorema de
Gauss-Markov

Como la matriz AA es semidefinida positiva, se concluye la

diferencia entre la covarianza de e y es una matriz
semidefinida positiva, con lo que la covarianza de e es mayor o
igual a la covarianza de