Professional Documents
Culture Documents
Técnicas y métodos
Noviembre, 2018
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 1 / 47
Temario
1 Introducción
2 Simulación de variables aleatorias
Método de la transformada inversa
Métodos generales de transformación
Métodos de aceptación y rechazo
3 Método de Monte Carlo
Muestreo de Monte Carlo
Muestreo por importancia
4 Métodos de Markov Chain - Monte Carlo (MCMC)
¿Qué son los métodos MCMC?
Cadenas de Markov
Algoritmo Metropolis - Hastings
Muestreo de Gibbs
Diagnosis de convergencia
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 2 / 47
Introducción
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 3 / 47
Simulación de variables aleatorias
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 4 / 47
Simulación de variables aleatorias Método de la transformada inversa
1 Introducción
2 Simulación de variables aleatorias
Método de la transformada inversa
Métodos generales de transformación
Métodos de aceptación y rechazo
3 Método de Monte Carlo
Muestreo de Monte Carlo
Muestreo por importancia
4 Métodos de Markov Chain - Monte Carlo (MCMC)
¿Qué son los métodos MCMC?
Cadenas de Markov
Algoritmo Metropolis - Hastings
Muestreo de Gibbs
Diagnosis de convergencia
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 5 / 47
Simulación de variables aleatorias Método de la transformada inversa
X = FX−1 (U ). (3)
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 6 / 47
Simulación de variables aleatorias Método de la transformada inversa
Ejemplo
1 Si se desea simular X ∼ Exp(1), entonces se calcula
u = FX (x) = 1 − e−x y despejando x con respecto a u se obtiene
que x = −log(1 − u). Por tanto, si U ∼ U(0, 1), entonces
X = −log(1 − U ) ∼ Exp(1).
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 7 / 47
Simulación de variables aleatorias Método de la transformada inversa
Ejercicios
1 Genere 10000 valores de la distribución logı́stica Logis(µ, β), con
µ ∈ R y β > 0, cuya densidad viene dada por
1 e−(x−µ)/β
p(x) = .
β (1 + e−(x−µ)/β )2
2 Genere 10000 valores de la distribución Cauchy C(µ, σ), con µ ∈ R y
σ > 0, cuya densidad viene dada por
1 1
p(x) = .
πσ 1 + ( x−µ
σ )
2
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 8 / 47
Simulación de variables aleatorias Método de la transformada inversa
X = k si pk−1 ≤ U ≤ pk . (5)
Ejemplo
Haciendo uso de la transformación inversa, genere 10000 valores de una
distribución Bin(10, 3) y compare estos valores con los generados por la
función rbinom.
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 9 / 47
Simulación de variables aleatorias Métodos generales de transformación
1 Introducción
2 Simulación de variables aleatorias
Método de la transformada inversa
Métodos generales de transformación
Métodos de aceptación y rechazo
3 Método de Monte Carlo
Muestreo de Monte Carlo
Muestreo por importancia
4 Métodos de Markov Chain - Monte Carlo (MCMC)
¿Qué son los métodos MCMC?
Cadenas de Markov
Algoritmo Metropolis - Hastings
Muestreo de Gibbs
Diagnosis de convergencia
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 10 / 47
Simulación de variables aleatorias Métodos generales de transformación
Ejemplos
i.i.d.
En el ejemplo anterior, se pudieron simular Xi ∼ Exp(1). Entonces, se
pueden simular las variables:
1. Y = 2 nj=1 Xj ∼ χ2 (2n), n ∈ N.
P
Algoritmo de Box-Muller
Si U1 y U2 son dos variables U(0, 1) independientes, entonces
p p
X1 = −2log(U1 )cos(2πU2 ) y X2 = −2log(U1 )sen(2πU2 ) (6)
Ejemplo
Genere 10000 valores de una distribución normal estándar usando el
algoritmo de Box-Muller y compárelos con los generados por R con la
función rnorm.
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 12 / 47
Simulación de variables aleatorias Métodos de aceptación y rechazo
1 Introducción
2 Simulación de variables aleatorias
Método de la transformada inversa
Métodos generales de transformación
Métodos de aceptación y rechazo
3 Método de Monte Carlo
Muestreo de Monte Carlo
Muestreo por importancia
4 Métodos de Markov Chain - Monte Carlo (MCMC)
¿Qué son los métodos MCMC?
Cadenas de Markov
Algoritmo Metropolis - Hastings
Muestreo de Gibbs
Diagnosis de convergencia
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 13 / 47
Simulación de variables aleatorias Métodos de aceptación y rechazo
Método de aceptación-rechazo
Supóngase que se desea simular los valores de una variable aleatoria X ∼ p
y se tiene una densidad q cuyos valores son fáciles de simular y además:
a. p y q tienen soportes compatibles (i.e. q(x) > 0 cuando p(x) > 0).
b. ∃M > 0 tal que supx {p(x)/q(x)} ≤ M .
El método consiste en:
1. Generar una variable Y proveniente de la densidad q.
2. Generar U ∼ U(0, 1) (independiente de Y ).
3. Si U ≤ Mp(Y )
q(Y ) , entonces X = Y . Caso contrario, rechazar y retornar
al paso 1.
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 14 / 47
Simulación de variables aleatorias Métodos de aceptación y rechazo
M = supx {p(x)/q(x)}
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 15 / 47
Simulación de variables aleatorias Métodos de aceptación y rechazo
Ejercicios
1 Simule 10000 valores de una distribución Be(1.5, 4.3) usando el
método de aceptación y rechazo tomando como densidad candidata a
la distribución U(0, 1).
2 Simule 10000 valores de una distribución N (0, 1) usando el método
de aceptación y rechazo tomando como densidad candidata a la
distribución de Laplace cuya densidad está dada por
1
p(x) = e−|x| , x ∈ R
2
3 Compare los resultados obtenidos con los brindados por las funciones
de R rbeta y rnorm.
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 16 / 47
Método de Monte Carlo Muestreo de Monte Carlo
1 Introducción
2 Simulación de variables aleatorias
Método de la transformada inversa
Métodos generales de transformación
Métodos de aceptación y rechazo
3 Método de Monte Carlo
Muestreo de Monte Carlo
Muestreo por importancia
4 Métodos de Markov Chain - Monte Carlo (MCMC)
¿Qué son los métodos MCMC?
Cadenas de Markov
Algoritmo Metropolis - Hastings
Muestreo de Gibbs
Diagnosis de convergencia
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 17 / 47
Método de Monte Carlo Muestreo de Monte Carlo
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 18 / 47
Método de Monte Carlo Muestreo de Monte Carlo
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 19 / 47
Método de Monte Carlo Muestreo de Monte Carlo
hn − E(h(X)) D
q → N (0, 1) (12)
\
V (hn )
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 20 / 47
Método de Monte Carlo Muestreo de Monte Carlo
Ejercicios
1 Use el método de aproximación de Monte Carlo para estimar la
siguiente integral:
Z 1
(cos(50x) + sen(20x))2 dx
0
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 21 / 47
Método de Monte Carlo Muestreo de Monte Carlo
Ejercicios
1 Supóngase que se desea estimar la función
R x de1 distribución de una
−t 2 /2
distribución normal estándar: Φ(x) = −∞ 2π e
√ dt
a. Exprese el problema para solucionarlo con un muestreo de Monte Carlo.
b. Calcule la varianza de Φ(X) y dé una cota superior para la misma.
c. ¿Cuál es el número de iteraciones mı́nimo para obtener estimaciones de
Φ(x) con una precisión de al menos 4 decimales?
d. Obtenga estimaciones de Φ(x) para x = −2, 0 y 2 con la cantidad de
iteraciones hallada en c.
2 Supóngase que se desea estimar la probabilidad P(Z > 4.5) donde
Z ∼ N (0, 1). Observe lo siguiente:
a. ¿Cuántas simulaciones son necesarias para obtener un valor simulado
proveniente de una distribución Z que sea mayor a 4.5?
b. Realice una estimación por MC con n = 10000 simulaciones. ¿Las
estimaciones son buenas? ¿Por qué?
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 22 / 47
Método de Monte Carlo Muestreo por importancia
1 Introducción
2 Simulación de variables aleatorias
Método de la transformada inversa
Métodos generales de transformación
Métodos de aceptación y rechazo
3 Método de Monte Carlo
Muestreo de Monte Carlo
Muestreo por importancia
4 Métodos de Markov Chain - Monte Carlo (MCMC)
¿Qué son los métodos MCMC?
Cadenas de Markov
Algoritmo Metropolis - Hastings
Muestreo de Gibbs
Diagnosis de convergencia
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 23 / 47
Método de Monte Carlo Muestreo por importancia
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 24 / 47
Método de Monte Carlo Muestreo por importancia
Ejemplo
1 Mediante el método de Monte Carlo, aproxime el área bajo la curva
de la distribución normal estándar en el intervalo [−50, 50]. Para ello
use como funciones de importancia la densidad de una variable
U[−50, 50] y una distribución Cauchy truncada en [−50, 50]. ¿Qué
densidad hace que el algoritmo sea más eficiente? ¿Por qué?
2 Supóngase que se desea estimar la probabilidad P(Z > 4.5) donde
Z ∼ N (0, 1). Use un muestreo MC por importancia para estimar
dicha probabilidad usando como densidad alternativa la distribución
Exp(1) truncada en [4.5, ∞].
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 25 / 47
Método de Monte Carlo Muestreo por importancia
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 26 / 47
Método de Monte Carlo Muestreo por importancia
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 27 / 47
Método de Monte Carlo Muestreo por importancia
Ejemplo
Para el estimador de bayes Normal - Cauchy:
R ∞ θ −(x−θ)2 /2
1+θ2
e dθ
δ(x) = R−∞
∞ 1 2
−(x−θ) /2 dθ
,
−∞ 1+θ2 e
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 28 / 47
Métodos de Markov Chain - Monte Carlo (MCMC) ¿Qué son los métodos MCMC?
1 Introducción
2 Simulación de variables aleatorias
Método de la transformada inversa
Métodos generales de transformación
Métodos de aceptación y rechazo
3 Método de Monte Carlo
Muestreo de Monte Carlo
Muestreo por importancia
4 Métodos de Markov Chain - Monte Carlo (MCMC)
¿Qué son los métodos MCMC?
Cadenas de Markov
Algoritmo Metropolis - Hastings
Muestreo de Gibbs
Diagnosis de convergencia
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 29 / 47
Métodos de Markov Chain - Monte Carlo (MCMC) ¿Qué son los métodos MCMC?
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 30 / 47
Métodos de Markov Chain - Monte Carlo (MCMC) Cadenas de Markov
1 Introducción
2 Simulación de variables aleatorias
Método de la transformada inversa
Métodos generales de transformación
Métodos de aceptación y rechazo
3 Método de Monte Carlo
Muestreo de Monte Carlo
Muestreo por importancia
4 Métodos de Markov Chain - Monte Carlo (MCMC)
¿Qué son los métodos MCMC?
Cadenas de Markov
Algoritmo Metropolis - Hastings
Muestreo de Gibbs
Diagnosis de convergencia
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 31 / 47
Métodos de Markov Chain - Monte Carlo (MCMC) Cadenas de Markov
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 32 / 47
Métodos de Markov Chain - Monte Carlo (MCMC) Cadenas de Markov
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 33 / 47
Métodos de Markov Chain - Monte Carlo (MCMC) Cadenas de Markov
Teorema
Sea {Θn }n≥0 una cadena de Markov con espacio de estados contable S y
matriz de transición P . Además, supóngase que la cadena es irreductible y
aperiódica. Si π es una distribución estacionaria de {Θn }n≥0 , entonces
para cualquier distribución inicial de Θ0
X
lim |P (Θn = j) − πj | = 0 (19)
n→∞
j
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 34 / 47
Métodos de Markov Chain - Monte Carlo (MCMC) Cadenas de Markov
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 35 / 47
Métodos de Markov Chain - Monte Carlo (MCMC) Algoritmo Metropolis - Hastings
1 Introducción
2 Simulación de variables aleatorias
Método de la transformada inversa
Métodos generales de transformación
Métodos de aceptación y rechazo
3 Método de Monte Carlo
Muestreo de Monte Carlo
Muestreo por importancia
4 Métodos de Markov Chain - Monte Carlo (MCMC)
¿Qué son los métodos MCMC?
Cadenas de Markov
Algoritmo Metropolis - Hastings
Muestreo de Gibbs
Diagnosis de convergencia
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 36 / 47
Métodos de Markov Chain - Monte Carlo (MCMC) Algoritmo Metropolis - Hastings
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 37 / 47
Métodos de Markov Chain - Monte Carlo (MCMC) Algoritmo Metropolis - Hastings
Observaciones:
En caso la distribución a querer simular se la distribución posteriori
π(θ|x), la probabilidad de aceptación α, no depende de la constante
de integración de la distribución posteriori, de modo que:
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 38 / 47
Métodos de Markov Chain - Monte Carlo (MCMC) Muestreo de Gibbs
1 Introducción
2 Simulación de variables aleatorias
Método de la transformada inversa
Métodos generales de transformación
Métodos de aceptación y rechazo
3 Método de Monte Carlo
Muestreo de Monte Carlo
Muestreo por importancia
4 Métodos de Markov Chain - Monte Carlo (MCMC)
¿Qué son los métodos MCMC?
Cadenas de Markov
Algoritmo Metropolis - Hastings
Muestreo de Gibbs
Diagnosis de convergencia
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 39 / 47
Métodos de Markov Chain - Monte Carlo (MCMC) Muestreo de Gibbs
Algoritmo de Gibbs
1. Fijar un valor inicial, θ0 = (θ1,0 , θ2,0 , . . . , θk,0 )0 .
2. Para j ≥ 1, generar:
Simular θ1,t+1 ∼ π(θ1 |θ2,t , . . . , θk,t )
Simular θ2,t+1 ∼ π(θ2 |θ1,t+1 , θ3,t . . . , θk,t )
Simular θ3,t+1 ∼ π(θ3 |θ1,t+1 , θ2,t+1 , θ4,t . . . , θk,t )
..
.
Simular θk,t+1 ∼ π(θk |θ1,t+1 , . . . , θk−1,t+1 )
3. Hacer j = j + 1 y retornar al paso 2 hasta lograr convergencia.
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 40 / 47
Métodos de Markov Chain - Monte Carlo (MCMC) Muestreo de Gibbs
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 41 / 47
Métodos de Markov Chain - Monte Carlo (MCMC) Muestreo de Gibbs
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 42 / 47
Métodos de Markov Chain - Monte Carlo (MCMC) Diagnosis de convergencia
1 Introducción
2 Simulación de variables aleatorias
Método de la transformada inversa
Métodos generales de transformación
Métodos de aceptación y rechazo
3 Método de Monte Carlo
Muestreo de Monte Carlo
Muestreo por importancia
4 Métodos de Markov Chain - Monte Carlo (MCMC)
¿Qué son los métodos MCMC?
Cadenas de Markov
Algoritmo Metropolis - Hastings
Muestreo de Gibbs
Diagnosis de convergencia
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 43 / 47
Métodos de Markov Chain - Monte Carlo (MCMC) Diagnosis de convergencia
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 44 / 47
Métodos de Markov Chain - Monte Carlo (MCMC) Diagnosis de convergencia
(a) (b)
Figura: Simulación del correlograma de las cadenas de Markov mediante el
algoritmo MCMC: (a) Paseo Aleatorio MH (q(θ∗ |θ) = q(|θ∗ − θ|)), (b) Muestreo
independiente MH (q(θ∗ |θt ) = q(θ∗ )).
M.Sc. Christian Amao Suxo (UNI) Métodos de aproximación bayesianos Noviembre, 2018 47 / 47