You are on page 1of 45

Introduccin a la Estadstica Bayesiana

(Segunda parte)
Eduardo Gutirrez Pea
1
1
Departamento de Probabilidad y Estadstica, IIMAS-UNAM
3
er
Taller Mexicano de Estadstica Bayesiana
Veracruz, Mxico 25 de junio de 2011
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 1 / 45
Temario
1
Introduccin
2
Ideas bsicas
3
El enfoque bayesiano
4
El proceso de aprendizaje
5
Distribucin predictiva
6
Intercambiabilidad
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 2 / 45
Introduccin
Toda la Estadstica es descriptiva!
Caso A: se cuenta con todos los datos posibles del fenmeno bajo estudio
(e.g. censos)
Descripcin: exacta Anlisis exploratorio de datos
Caso B: se cuenta solamente con una parte de todos los datos posibles (e.g.
encuestas)
Descripcin: aproximada Inferencia Estadstica
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 3 / 45
Introduccin
En este ltimo caso,
Fenomeno
Muestra
Inferencia
(Descripcion aproximada)
x , x ,..., x
1 2 n
cmo seleccionar la muestra?
cmo medir el grado de aproximacin?
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 4 / 45
Introduccin
Solucin:
Seleccin probabilstica de la muestra (i.e. por sorteo)
x X Pr[X = x]
Dato Variable (aleatoria) Modelo de probabilidad
As,
Describir el fenmeno Describir el modelo
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 5 / 45
Introduccin
Inferencia paramtrica y no paramtrica
- En ocasiones resulta conveniente suponer que
Pr[X = x] = p(x|),
donde p(|) tiene forma conocida, pero el valor de es desconocido
As,
Describir el fenmeno Caracterizar el valor de
- En otros casos la propia forma funcional de Pr[X = x] se supone
desconocida
A n de cuentas... qu es un modelo?
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 6 / 45
Ideas bsicas
Mtodos estadsticos tradicionales
Planteamientos ms comunes de la Estadstica clsica
- Estimacin puntual:

- Estimacin por intervalo: (,



)
- Prueba de hiptesis: H
0
:
0
vs H
1
:
1
Criterios: suciencia, insesgamiento, varianza mnima, consistencia,
eciencia, conanza, signicancia, potencia...
Cmo y cundo aplicar cada receta?
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 7 / 45
Conceptos bsicos
Veamos un ejemplo...
Problema: hacer inferencias sobre la proporcin de individuos de una
poblacin determinada que sufren de cierta enfermedad.
Se selecciona una muestra aleatoria de individuos, de manera que cada
individuo en la muestra sufra de la enfermedad con probabilidad
independientemente de los otros individuos en la muestra ( denota la
proporcin de individuos enfermos en la poblacin).
La variable aleatoria X denota el nmero de individuos enfermos en la
muestra.
El valor observado X = x es usado para hacer inferencias acerca del
parmetro (caracterstica poblacional) .
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 8 / 45
Conceptos bsicos
Las inferencias pueden tomar la forma de:
un estimador puntual :

= 0.1
un intervalo de conanza: (0.08,0.12) con 95% de conanza
una prueba de hiptesis: rechazar H
0
: < 0.07 con = 0.05
un pronstico: predecir cuntos individuos sufrirn de la enfermedad el
ao prximo
una decisin: invertir en un nuevo proyecto de investigacin para
estudiar la enfermedad
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 9 / 45
Conceptos bsicos
Estas inferencias se llevan a cabo especicando un modelo probabilstico,
p(x|), que determina las probabilidades de los posibles valores de X para un
valor dado de , e.g.
X Bin(, n),
de manera que el problema de inferencia estadstica se reduce a hacer
inferencias sobre con base en el valor observado X = x.
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 10 / 45
Conceptos bsicos
Para qu otro enfoque? Notemos lo siguiente:
El parmetro es desconocido, pero se considera constante, no aleatorio.
De ah que en la terminologa clsica se hable de verosimilitud, conanza,
nivel de signicancia, etc., y no de probabilidad.
Sin embargo, es comn que la gente interprete intuitivamente a un intervalo
de conanza del 95% para , digamos (0.08, 0.12), como si
Pr(0.08 < < 0.12) = 0.95.
De manera similar, no es raro que la gente interprete el nivel de signicancia
descriptivo (p-value) como la probabilidad de que la hiptesis nula sea
verdadera.
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 11 / 45
Conceptos bsicos
Interpretacin subjetiva de la probabilidad
Cmo debe interpretarse la probabilidad?
Existen al menos tres interpretaciones:
Clsica: basada en ciertas simetras o en propiedades fsicas
de objetos tales como dados, cartas de una baraja, bolas
dentro de una urna, etc.
Frecuentista: basada en el lmite de frecuencias relativas de
eventos repetibles bajo condiciones similares.
Subjetiva: reeja juicios personales acerca de eventos nicos.
Un ejemplo...
Cul es la probabilidad que t asignaras en este momento al evento
A = El PRI ganar las elecciones presidenciales en 2012?
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 12 / 45
Conceptos bsicos
- Quiere decir esto que podemos usar cualquier nmero que queramos?
No. Las probabilidades que asignemos deben ser coherentes,
i.e., deben obedecer las leyes de la probabilidad. Adems, deben reejar
honestamente nuestro estado de conocimiento.
Ejemplo:
Preguntas de opcin mltiple
- Para ser tomadas en serio, las probabilidades que asignemos deben tener
relacin con la realidad.
- Usualmente estas probabilidades son asignadas por expertos y/o con base
en informacin (muestral) previa.
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 13 / 45
El enfoque bayesiano
Idea: disear una Teora Estadstica, basada en una pequea serie de
principios bsicos, que nos permita estructurar la solucin a cualquier
problema de inferencia.
La va: la Teora de la Decisin
Para qu una Teora Estadstica?
- Para darle a la Estadstica una estructura coherente
- Porque con otros enfoques se presentan casos en los que:
(i) no hay una solucin razonable;
(ii) se presentan paradojas.
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 14 / 45
El enfoque bayesiano
Teora de la decisin
En el contexto de la Estadstica, los elementos de un problema de decisin
en ambiente de incertidumbre son los siguientes:
1
El espacio de acciones potenciales disponibles: A
2
El espacio parametral, que contiene los posibles estados de la
naturaleza:
3
El espacio de las consecuencias: C = A
Para poder resolver un problema de decisin, es necesario cuanticar tanto
la incertidumbre sobre como las consecuencias en C.
Los axiomas implican que la nica forma racional de cuanticar la
incertidumbre es a travs de una medida de probabilidad, p(), y que las
consecuencias deben cuanticarse por medio de una funcin de prdida,
L(a, ).
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 15 / 45
El enfoque bayesiano
El resultado fundamental de la teora es que debe elegirse aquella accin
que minimice la prdida esperada
L

(a) =

L(a, )p() d.
Por supuesto, en problemas estadsticos se cuenta con informacin adicional
en la forma de una muestra X
1
, . . . , X
n
p(x|).
Cmo incorporar esta informacin?
El Teorema de Bayes nos permite combinar las dos fuentes de informacin,
p() y x = (x
1
, . . . , x
n
), y de esta manera producir la distribucin nal p(|x).
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 16 / 45
El enfoque bayesiano
Teorema de Bayes
En trminos de funciones de densidad, el Teorema de Bayes toma la forma
p(|x) =
p()p(x|)

p(

)p(x|

)d

.
El denominador, p(x) =
_
p(

)p(x|

)d

, no depende de , por lo que es comn


escribir
p(|x) p()p(x|).
Es este caso, la mejor accin ser aquella que minimice la prdida esperada
nal
L

x
(a) =

L(a, )p(|x) d.
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 17 / 45
El enfoque bayesiano
Estimacin puntual
En este caso A = . Las funciones de prdida ms comunes son:
1
Cuadrtica: L(

, ) = (

)
2
.
Notemos que L

x
(

) = Var(|x) +{E(|x)

}
2
, de manera que el valor de

que
minimiza a L

x
(

) es

= E(|x).
2
Valor absoluto: L(

, ) = |

|.
Puede demostrarse que en este caso el valor que minimiza la prdida esperada
nal es

= Mediana(|x).
3
Lineal : Para g, h > 0,
L(

, ) =
_
g (

) si

>
h (

) si

<
En este caso

= Cuantil de orden
h
g+h
de p(|x).
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 18 / 45
El enfoque bayesiano
Contraste de hiptesis
Supongamos que se desea contrastar las hiptesis
H
0
:
0
vs H
1
:
1
(
0

1
= ;
0

1
= ).
En este caso A = {a
0
, a
1
} = {H
0
, H
1
}.
Supongamos que se utiliza una funcin de prdida de la forma
L(a
i
, ) =
_
k
i
si /
i
0 si
i
(i = 0, 1),
donde k
0
, k
1
> 0.
Entonces
L

x
(a
i
) = k
i
(1 Pr[
i
|x]) (i = 0, 1)
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 19 / 45
El enfoque bayesiano
Por lo tanto, debe rechazarse H
0
si y slo si
L

x
(a
0
) > L

x
(a
1
).
Es decir, si y slo si
Pr[
0
|x]
Pr[
1
|x]
<
k
0
k
1
.
En particular, si k
0
= k
1
entonces la mejor accin es rechazar H
0
si
Pr[
0
|x] < Pr[
1
|x].
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 20 / 45
El enfoque bayesiano
Las probabilidades nales requeridas pueden calcularse de la siguiente manera.
Por el Teorema de Bayes,
Pr[
i
|x] =
Pr[
i
]p(x|
i
)
p(x)
,
donde
Pr[
i
] =
_

i
p() d
y
p(x|
i
) =
_

i
p(x|)
_
p()
_

i
p(

)d

_
d.
Entonces, el criterio para rechazar H
0
toma la forma
p(x|
0
)
p(x|
1
)
<
k
0
k
1
Pr[
1
]
Pr[
0
]
.
[Factores de Bayes]
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 21 / 45
El enfoque bayesiano
Notemos lo siguiente:
Si las dos hiptesis fueran simples, i.e. si
i
= {
i
} (i = 0, 1), entonces se
rechazara H
0
siempre que
p(x|
0
)
p(x|
1
)
<
k
0
k
1
Pr[ =
1
]
Pr[ =
0
]
.
Esta regin de rechazo tiene la misma forma que la producida por el Lema de
Neyman-Pearson.
Si las dos hiptesis son compuestas, el criterio Bayesiano se basa en el cociente
de verosimilitudes integradas; en contraste, el criterio clsico se basa en el
cociente de verosimilitudes maximizadas.
Otras funciones de prdida dan lugar a otros criterios de rechazo.
[Hiptesis mltiples]
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 22 / 45
El proceso de aprendizaje
Los cuatro pasos a seguir dentro del enfoque bayesiano:
1
Especicacin de un modelo (verosimilitud), p(x|)
2
Especicacin de una distribucin inicial, p()
3
Clculo de la distribucin nal, p(|x), va el Teorema de Bayes
4
Resumen de la informacin contenida en p(|x) para hacer inferencias
sobre las cantidades de inters.
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 23 / 45
El proceso de aprendizaje
Robustez
En Estadstica, independientemente del enfoque que se utilice, es importante
entender hasta qu punto el modelo usado es robusto antes posibles violaciones
a los supuestos.
Lo anterior tambin es cierto dentro del enfoque Bayesiano en lo que se reere a
la especicacin de la distribucin inicial.
En ocasiones el modelo es tal que las inferencias no se modican
sustancialmente ante cambios moderados en la distribucin nal. Esto ocurre,
por ejemplo, cuando el tamao de la muestra es sucientemente grande.
En otros casos, sin embargo, puede ocurrir que incluso cambios aparentemente
insignicantes en la distribucin inicial produzcan inferencias completamente
distintas.
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 24 / 45
El proceso de aprendizaje
Inferencia
El enfoque bayesiano proporciona inferencias ms completas en el sentido de que
toda la informacin disponible sobre el valor de queda representada a travs de la
distribucin nal.
Es decir, desde el punto de vista bayesiano, el problema de inferencia se reduce a
encontrar p(|x): la distribucin nal es la inferencia.
La nica receta de la Inferencia bayesiana consiste en encontrar la distribucin
condicional de todas aquellas cantidades de inters cuyo valor desconocemos
dado el valor conocido de las variables observadas.
Las cantidades de inters pueden ser parmetros, observaciones futuras, etc.
En la prctica generalmente es deseable resumir este tipo de inferencias en la forma
de una estimacin o prediccin puntual, una estimacin por intervalo, una prueba de
hiptesis, etc.
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 25 / 45
El proceso de aprendizaje
Un ejemplo simple de inferencia bayesiana
Ejemplo 1. Distribucin binomial
- Datos: x xitos en n ensayos independientes, cada uno con probabilidad
de xito .
Por ejemplo, puede representar la tasa de respuesta ante cierta dosis
de una sustancia txica, y x el nmero de individuos, de un total de n
expuestos, que presentan efectos adversos.
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 26 / 45
El proceso de aprendizaje
- Funcin de verosimilitud:
p(x|) = Bin(x|; n) =

n
x

x
(1 )
nx

x
(1 )
nx
- Distribucin inicial:
p() = Beta(|a, b) =
(a + b)
(a)(b)

a1
(1 )
b1

a1
(1 )
b1
- Distribucin nal:
p(|x) p() p(x|)

x+a1
(1 )
nx+b1
Beta(|x + a, n x + b)
Notemos que tanto la distribucin inicial como la nal son beta. En este caso se dice
que la familia de distribuciones beta es conjugada para el modelo binomial.
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 27 / 45
El proceso de aprendizaje
Para la distribucin Beta(a, b) se sabe que la media est dada por m = a/(a + b) y la
varianza por s
2
= m(1 m)/(a + b + 1).
Supongamos que, dada la informacin inicial disponible, se determina que tiene
media E() = m = 0.4 y desviacin estndar sd() = s = 0.1. Esto implica que
a = 9.2 y b = 13.8.
Interpretacin: la informacin inicial es equivalente a la de una muestra de tamao
a + b = 23 en la que se obtuvieron a = 9.2 xitos.
Supongamos ahora que, al realizar un experimento con n = 20 individuos
expuestos, observamos x = 15 individuos afectados.
Desglose de la informacin Inicial Datos Final
xitos 9.2 15 24.2
Fracasos 13.8 5 18.8
Total 23 20 43
La media y la desviacin estndar de la distribucin nal de estn dadas por
E(|x) = 0.563 y sd(|x) = 0.075, respectivamente.
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 28 / 45
El proceso de aprendizaje
0.0 0.2 0.4 0.6 0.8 1.0
0
1
2
3
4
5

D
e
n
s
i
d
a
d
Inicial
Verosimilitud
Final
Anlisis bayesiano del modelo binomial
(inicial informativa)
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 29 / 45
El proceso de aprendizaje
Finalmente, supongamos que no se tiene informacin inicial disponible. Esto se
puede especicar a travs de una distribucin inicial uniforme, lo que implica que
a = b = 1.
En este caso, con x = 15 individuos afectados de un total de n = 20 individuos
expuestos, tenemos:
Desglose de la informacin Inicial Datos Final
xitos 1 15 16
Fracasos 1 5 6
Total 2 20 22
La media y la desviacin estndar de la distribucin nal de estn dadas por
E(|x) = 0.727 y sd(|x) = 0.093, respectivamente.
Por otro lado, la moda de la distribucin nal es igual a 0.75, valor que coincide con
el estimador de mxima verosimilitud para en este caso.
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 30 / 45
El proceso de aprendizaje
0.0 0.2 0.4 0.6 0.8 1.0
0
1
2
3
4
5

D
e
n
s
i
d
a
d
Inicial
Verosimilitud
Final
Anlisis bayesiano del modelo binomial
(inicial noinformativa)
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 31 / 45
El proceso de aprendizaje
Ejemplo 2. Distribucin normal
Sea X
1
, . . . , X
n
una muestra de observaciones independientes (dado )
de una distribucin N(,
2
), con
2
conocida. Entonces
p(x
i
|) =
1

2
exp
_

(x
i
)
2
2
2
_
,
lo que da lugar a la verosimilitud
l (; x) p(x|)
exp
_

n
i =1
(x
i
)
2
2
2
_
.
Supongamos que podemos representar nuestro conocimiento sobre a travs de
una distribucin normal:
p() = N(|b, d
2
).
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 32 / 45
El proceso de aprendizaje
Por el teorema de Bayes:
p(|x) exp
_

( b)
2
2d
2
_
exp
_

i
(x
i
)
2
2
2
_
= exp
_

2
2b + b
2
2d
2

i
x
2
i
2n

x + n
2
2
2
_
exp
_

1
2
_

2
_
1
d
2
+
n

2
_
2
_
b
d
2
+
n

2
___
exp
_
_
_

1
2
_
1
d
2
+
n

2
_
_

b
d
2
+
n x

2
1
d
2
+
n

2
_
2
_
_
_
Finalmente,
p(|x) = N
_
b
d
2
+
n x

2
1
d
2
+
n

2
,
1
1
d
2
+
n

2
_
.
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 33 / 45
El proceso de aprendizaje
Este resultado puede presentarse de manera ms concisa si denimos la precisin
como el recproco de la varianza: = 1/
2
y c = 1/d
2
.
Entonces
p(|x) = N
_
cb + n

x
c + n
,
1
c + n
_
.
Notemos que
- E(|x) =
n
b + (1
n
)

x, donde
n
= c/(c + n). Si n es grande relativo a c,
entonces
n
0 y la media de la distribucin nal ser aproximadamente igual a

x.
- Precisin nal = Precisin inicial + (n Precisin de cada dato).
- Conforme n , p(|x) N(|

x,
2
/n), de manera que en el lmite la
distribucin inicial no tiene ningn efecto sobre las inferencias.
- Si d (o, equivalentemente, si c 0), entonces p(|x) N(|

x,
2
/n).
- La distribucin nal depende de la muestra slo a travs de

x.
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 34 / 45
Distribucin predictiva
Hasta el momento slo hemos discutido el problema de hacer inferencias acerca del
valor desconocido del parmetro.
En muchas situaciones, sin embargo, el propsito de formular un modelo estadstico
es hacer predicciones sobre el valor de una o ms observaciones futuras.
Este problema se resuelve de manera mucho ms elegante desde el punto de vista
bayesiano que desde el punto de vista clsico.
El punto esencial aqu es que, al hacer inferencias predictivas sobre el valor de una
observacin futura con base en un modelo ajustado, deben tomarse en cuenta dos
fuentes de incertidumbre:
Incertidumbre sobre el valor del parmetro (sobre el cual se pueden hacer inferencias con
base en datos previos).
Incertidumbre por el hecho de que cualquier observacin futura es aleatoria en s misma
(an si conociramos el verdadero valor del parmetro, no podramos predecir el valor de
una observacin futura con certeza).
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 35 / 45
Distribucin predictiva
Dentro del enfoque clsico de la Estadstica, es comn ajustar el modelo con base en
los datos previos (obteniendo un estimador puntual

), y entonces hacer predicciones
con base en el modelo p(x|

) como si ste fuera el modelo correcto.


De esta manera, se ignora completamente la primera fuente de incertidumbre, lo que
produce predicciones que aparentan ser ms precisas de lo que realmente son.
En contraste, el enfoque bayesiano toma en cuenta las dos fuentes de incertidumbre
de una manera natural.
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 36 / 45
Distribucin predictiva
Supongamos que tenemos una muestra observada x = (x
1
, . . . , x
n
)

de p(x|) y que
se desea hacer inferencias acerca del valor futuro de Y = X
n+1
.
Dada una distribucin inicial p(), el Teorema de Bayes produce la distribucin nal
p(|x).
Siguiendo la nica receta de la inferencia bayesiana, debemos entonces encontrar
la distribucin condicional de Y dado el valor observado x.
Dicha distribucin est dada por
p(y|x) =
_
p(y|, x)p(|x) d
=
_
p(y|)p(|x) d
= E
p(|x)
[p(y|)]
y se conoce como la distribucin predictiva (nal).
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 37 / 45
Distribucin predictiva
Ejemplo 1. Distribucin binomial (continuacin)
Supongamos que estamos interesados en probar la hiptesis H
0
: 0.6 < . Entonces,
usando la distribucin inicial informativa, la probabilidad Pr(0.6 < |x) = 0.315 puede
usarse para determinar que los datos no apoyan esta hiptesis nula.
Por otra parte, supongamos que estamos considerando detener el estudio si al menos
25 de 40 nuevos individuos tratados presentan efectos adversos. Cul es la
probabilidad de que detengamos el estudio?
Distribucin predictiva: supongamos que deseamos observar n

ensayos (adicionales)
y que nos interesa predecir el nmero de xitos, X

, en esos n

ensayos.
La distribucin predictiva (inicial) es Binomial-Beta:
p(x

) =
_
n

_
(a + b)
(a)(b)
(x

+ a)(n

+ b)
(n

+ a + b)
.
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 38 / 45
Distribucin predictiva
La correspondiente distribucin predictiva nal, se obtiene de la expresin anterior al
reemplazar a a por x + a y a b por n x + b:
p(x

|x) =
_
n

_
(n + a + b)(x

+ x + a)(n

+ n x + b)
(x + a)(n x + b)(n

+ n + a + b)
.
La distribucin predictiva nal tiene media E(X

|x) = 22.5 y desviacin estndar


sd(X

|x) = 4.3 y es tal que Pr(25 X

|x) = 0.329.
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 39 / 45
Distribucin predictiva
Ejemplo 2. Distribucin normal (continuacin)
Si X
1
, . . . , X
n
N(,
1
) ( conocida) y p() = N(|b, c
1
), entonces
p(|x) = N
_

cb + n

x
c + n
,
1
c + n
_
.
Puede demostrarse fcilmente que en este caso
p(y|x) = N
_
y

cb + n

x
c + n
,
1

+
1
c + n
_
.
Escrito en trminos de la varianza
2
= 1/, y haciendo c 0, tenemos que
p(y|x) = N
_
y

x,
2
_
1 +
1
n
__
.
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 40 / 45
Intercambiabilidad
Existe otro enfoque que permite justicar la maquinaria bayesiana.
Dicho enfoque hace nfasis en las variables observables y en la nocin de que
un modelo no es ms que un articio probabilstico para hacer predicciones
acerca de tales variables.
Un concepto clave en esta discusin es el de intercambiabilidad, el cual permite,
desde una perspectiva subjetivista, justicar el uso (as como claricar la
interpretacin) de algunos conceptos estadsticos comunes tales como
parmetro, muestra aleatoria, verosimilitud y distribucin inicial.
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 41 / 45
Intercambiabilidad
Denicin. Las variables aleatorias X
1
, . . . , X
n
son (nitamente) intercambiables bajo
una medida de probabilidad P si la distribucin inducida por P satisface
p(x
1
, . . . , x
n
) = p(x
(1)
, . . . , x
(n)
)
para toda permutacin denida sobre el conjunto {1, 2, . . . , n}.
En otras palabras, las etiquetas que identican a cada una de las variables no
proporcionan informacin alguna.
Es claro que si las variables aleatorias X
1
, . . . , X
n
son independientes e idnticamente
distribuidas entonces son intercambiables. Sin embargo, las variables pueden ser
intercambiables a pesar de no ser independientes.
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 42 / 45
Intercambiabilidad
Teorema. Si X
1
, X
2
, . . . es una sucesin innita de variables aleatorias denidas sobre
{0, 1} e intercambiables con respecto a la medida de probabilidad P, entonces existe
una funcin de distribucin Q tal que la funcin de probabilidad p(x
1
, . . . , x
n
) tiene la
forma
p(x
1
, . . . , x
n
) =
_
1
0
_
n

i =1

x
i
(1 )
1x
i
_
dQ(),
donde Q() = lim
n
Pr(Y
n
/n ), con Y
n
= X
1
+ + X
n
, y = lim
n
Y
n
/n
(c. s.).
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 43 / 45
Intercambiabilidad
Teorema. Si X
1
, X
2
, . . . es una sucesin innita de variables aleatorias denidas
sobre e intercambiables con respecto a la medida de probabilidad P, entonces
existe una funcin de distribucin Q denida sobre F (el espacio de todas las
distribuciones sobre ) tal que la distribucin conjunta de X
1
, . . . , X
n
tiene la forma
F

(x
1
, . . . , x
n
) =
_
F
_
n

i =1
F(x
i
)
_
dQ(F),
donde Q(F) = lim
n
P(F
n
), y F
n
es la funcin de distribucin emprica de la muestra
x
1
, . . . , x
n
.
Estadistica Bayesiana No Paramtrica!
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 44 / 45
Bibliografa
(A) Bernardo, J.M. & Smith, A.F.M. (1994) Bayesian Theory. Wiley.
(I) Berry, D.A. (1996). Statistics: A Bayesian Perspective. Duxbury Press.
(A) Box, G.E.P. & Tiao, G.C. (1973). Bayesian Inference in Statistical Analysis. Addison-Wesley.
(P) Congdon, P. (2006). Bayesian Statistical Modelling. Wiley.
(C) Gamerman, D. y Lopes H.F. (2006). Markov Chain Monte Carlo: Stochastic Simulation for Bayesian
Inference. Chapman & Hall.
(P) Gelman, A., Carlin, J.B., Stern, H.S. & Rubin, D.B. (1995). Bayesian Data Analysis. Chapman & Hall.
(C) Gilks, W.R., Richardson, S. & Spiegelhalter, D.J. (1996). Markov Chain Monte Carlo in Practice.
Chapman & Hall.
(A) Leonard, T. & Hsu, J.S.J. (1999). Bayesian Methods: An Analysis for Statisticians and Interdisciplinary
Researchers. Cambrige University Press.
(I) Migon, H.S. & Gamerman, D. (1999). Statistical Inference: an Integrated Approach. Edward Arnold.
(A) OHagan, A. (1994). Kendalls Advanced Theory of Statistics, Vol. 2b: Bayesian Inference. Edward
Arnold.
(A) Press, S.J. (1989). Bayesian Statistics. Principles, Models and Applications. Wiley.
(I) Sivia, D.S. (1996). Data Analysis: A Bayesian Tutorial. Clarendon Press.
(I) Introductorio; (A) Avanzado; (P) Aplicaciones; (C) Mtodos computacionales
E. Gutirrez Pea (UNAM) Estadstica Bayesiana 3TAMEB 45 / 45

You might also like