Captulo 7

Generacin de
Procesos Estocsticos
Departamento de Informtica
Universidad Tcnica Federico
Santa Mara

Simulacin/2002

Hctor Allende

Introduccin
Las caractersticas de un fenmeno aleatorio puede
ser descrito a travs de la distribucin de
probabilidad de una variable aleatoria que
representa el fenmeno.
En la teora de probabilidad, las propiedades
estadsticas de un fenmeno aleatorio que ocurre
de manera aleatoria respecto al tiempo o al espacio
no son considerados.
Simulacin/2002

Hctor Allende

Introduccin
Ejemplos de fenmenos aleatorios en el tiempo:
-Imagen Biomedica, Imagen SAR
-Comportamiento de una onda en el oceano.
-Demanda de energia de cuidad o regin geografica
-Volatilidad de los ADR
-Movimiento de una partcula en un campo magnetico
-Emisin de fuentes radioactivas
-Vibracin de un edificio, causada por un movimiento
ssmico

Simulacin/2002

Hctor Allende

Proceso Estocstico
Definicin: Una familia de variables aleatorias
x(t) donde t es el parmetro perteneciente a un
conjunto indexado T es llamado un proceso
estocstico (o proceso aleatorio), y se denota por:
{x(t ), t T }

Nota: Tambin es definido como: {x(t , ), t T , }

siendo X (t ), v.a.t T en el mismo espacio de
probabilidad (, , P)

Simulacin/2002

Hctor Allende

Proceso Estocstico
Observacin
Si t es fijo, x( ) es una familia de variables aleatorias. (ensemble).
Para fijo, x(t) es una funcin del tiempo llamada funcin
muestrada.
1

x(t )

x(t )

x(t )

x(t )

x(t )

Simulacin/2002

t1

2
Hctor
Allende

Proceso Estocstico
Estado
Discreto

D iscreto

T iem po

C ontinuo

Continuo

Estado y tiempo discreto y continuo.

Simulacin/2002

Hctor Allende

Funcin de Medias
1. Sea {x(t ), t T } un proceso estocstico, se
llama funcin de medias:

x (t ) : T
t x (t ) E[ xt ]
Obs: x (t ) E[ x(t )] cte t T
se dice que
es un proceso estocstico estable en media.
Simulacin/2002

Hctor Allende

Funcin de Varianzas
2. Sea {x(t ), t T } un proceso estocstico, se
llama funcin de varianzas:
x2 (t ) : T
t x2 (t ) V [ xt ] E{( xt E[ xt ]2 }
x2 (t ) cte t T

Obs:
se dice que es
un proceso estocstico estable en varianza.
Simulacin/2002

Hctor Allende

Funcin de
Autocovarianzas
3. Sea {x(t ), t T } un proceso estocstico, se
llama funcin de varianzas:
C xx (t ) : T T
(t1 , t 2 ) C xx (t1, t 2 ) Cov[ xt , xt 2 ]
1

E{( xt1 x (t1 ))( xt 2 x (t 2 ))}

Simulacin/2002

Hctor Allende

Funcin de
Autocorrelacin
3. Sea {x(t ), t T } un proceso estocstico, se
llama funcin de varianzas:
x (t ) : T T
(t1 , t 2 ) x (t1, t 2 )

Simulacin/2002

Cov[ xt , xt 2 ]
1

(t1 ) (t 2 )

Hctor Allende

Funcin de Autocovarianza
La funcin de Autocovarianza C xx (t1 , t 2 ) de un
proceso estocstico viene dado por:
C xx (t1 , t 2 ) Cov[ x(t1 ), x(t 2 )]
E[( x(t1 ) E[ x(t1 )])( x(t 2 ) E[ x(t 2 )])]
n
1
C xx (t1 , t 2 ) {x(t1k ) x(t1 )}{x(t 2k ) x(t 2 )}
n k 1

1 n
x(ti ) E[ x(ti )] x(tik )
donde
n k 1

i 1,2

Si est en funcin de las diferencias de tiempo:

R( ) Cov[ x(t ), x(t )] x ( )
Simulacin/2002

Hctor Allende

Distribucin conjunta finito

dimensional
Sea (, , P) un espacio de probabilidad y
un conjunto de ndices T, y X : T
un proceso estocstico.
El sistema: FX {FX (t ),..., X (t ) : t1 ,...., t n T , n }
es una Distribucin conjunta finito
dimensional
1

Simulacin/2002

Hctor Allende

Proceso estocstico de 2 orden

Sea X un proceso estocstico, se dice de 2
orden ssi el segundo momento es finito es
decir, E[ x 2 (t )] t T
o sea V X (t ) (t ) 2 1 t T
2

E X(t) t T

Simulacin/2002

Hctor Allende

Proceso Estacionario
OBS: Las caractersticas de un proceso aleatorio son evaluados
basados en el ensemble.

a) Proceso Estocstico Estacionario Estricto:

Si la distribucin conjunta de un vector aleatorio ndimensional, {x (t ), x (t ),...., x (t )}
1
2
n
y
{x(t1 ), x(t 2 ),...., x(t n )}
es la misma para todo , entonces el proceso
estocstico x(t) se dice que es un proceso estocstico
estacionario (o estado estacionario).
Es decir, las propiedades estadsticas del proceso se
mantienen invariante bajo la traslacin en el tiempo.

Simulacin/2002

Hctor Allende

Proceso Estacionario
b) Proceso Estocstico Evolucionario:
Un proceso estocstico no estacionario se llama
evolucionario

c) Proceso Estocstico Dbilmente Estacionario:

Un proceso estocstico se dice dbilmente estacionario
(o estacionario en covarianza) si su funcin de valor
medio es constante independiente de t y su funcin de
autocovarianza depende de la diferencia de los
Argumentos.
i) E[x(t)]=c ii) Cov[x(t),x(t+)] = h() para todo t.

Simulacin/2002

Hctor Allende

Proceso Ergdico
Un proceso estocstico x(t) se dice que es
un proceso ergdico si el tiempo promedio
de un simple registro es aproximadamente
igual al promedio de ensemble. Esto es:
1 n
n x(ti ) para un proceso de tiempo discreto.
i 1

E[ x(t )]

T
1 x(t )dt para un proceso de tiempo continuo.
T
0

Simulacin/2002

Hctor Allende

Proceso Ergdico
En general, las propiedades ergdicas de un
proceso estocstico se asume verdadera en
el anlisis de los datos observados en
ingeniera, y por lo tanto las propiedades
estadsticas de un proceso aleatorio puede
ser evaluado a partir del anlisis de un
nico registro.

Simulacin/2002

Hctor Allende

Proceso de Incrementos
Independientes
Un proceso estocstico x(t) se dice que es un proceso de
x(ti 1 ) x(,ti )
incrementos independientes si
i= 0,1,, es es estadsticamente independiente
(i.e., Estadsticamente no correlacionado).
Sea el proceso estocstico x(t) se dice un proceso
estacionario de incrementos independientes.
Entonces, la varianza de los incrementos
independientes x(t 2 ) x(t1 ) , donde t1 t 2 ,
es proporcional a t 2 t1
Simulacin/2002

Hctor Allende

Proceso de Markov
Un proceso estocstico x(t) se dice que es un
proceso de Markoviano si satisface la siguiente
probabilidad condicional:
P{x(t n ) xn | x(t1 ) x1 , x(t 2 ) x2 ,..., x(t n 1 ) xn 1}
P{x(t n ) xn | x(t n 1 ) xn 1}, donde t1 t 2 ....t n 1 t n

Cadena de Markov: Proceso de Markov con estado

discreto.
Proceso de Difusin: Proceso de Markov con estado
continuo.
Simulacin/2002

Hctor Allende

Proceso de Markov
La ecuacin anterior puede ser escrita
como: f {x(t n ) | x(t1 ), x(t 2 ),..., x(t n 1 )} f {x(t n ) | x(t n 1 )}
entonces se tiene:
f {x(t1 ),.., x(t n )} f {x(t n ) | x(t1 ),..., x(t n 1 )} f {x(t1 ),..., x(t n 1 )}
f {x(t n ) | x(t n 1 )} f {x(t1 ), x(t 2 ),..., x(t n 1 )}
f {x(t1 ),..., x(t n 1 )} f {x(t n 1 ) | x(t n 2 )} f {x(t1 ),..., x(t n 2 )}
etc.

Obteniendos
n

f {x(t1 ), x(t 2 ),..., x(t n )} f {x(ti )} f {x(t r ) | x(t r 1 )}

r 2

Simulacin/2002

Hctor Allende

Proceso de Markov
Conclusin:
La funcin de densidad de probabilidad conjunta
de un proceso de Markov puede ser expresado por
medio de las densidades marginales f {x(t r )} y
Un conjunto de funciones de densidad de probabilidad
condicional f {x(t r ) | x(t r 1 )} ,se llama densidad de
probabilidad de transicin.
Un proceso de Markov se dice homogneo en el tiempo si
la densidad de probabilidad de transicin es invariante en
el tiempo :
f {x(t r ) | x(t r 1 )} f {x(t r ) | x(t r 1 )}
Simulacin/2002

Hctor Allende

Proceso de Conteo
Un proceso estocstico de tiempo continuo y valores
enteros se llama proceso de conteo de la serie de eventos si
N(t) representa el nmero total de ocurrencias de un evento
en el intervalo de tiempo [0 ; t]
N(t)
4
3
2
1
0

t1

T1 T2
Simulacin/2002

t2

t3

T3

T4

Time

Intervalos de tiempo
entre sucesivas
ocurrencias

Hctor Allende

Proceso de Conteo
Proceso de Poisson: Proceso de renovacin en la cual
los tiempos entre llegadas obedecen una distribucin
exponencial.

Proceso de renovacin (Renewal Process):

Los tiempos entre llegadas son v.a. i.i.d. con alguna ley de
probabilidades F

Proceso Guassiano
Proceso de Wiener
Proceso de Bernoulli

Simulacin/2002

Hctor Allende

Proceso Normal o Gaussiano

Un proceso estocstico x(t) se dice que es un proceso
gaussiano si para cualquier tiempo t, la variable aleatoria
x(t) tiene distribucin Normal.
Nota: Un proceso normal es importante en el anlisis
estocstico de un fenmeno aleatorio observado en las
ciencias naturales, ya que muchos fenomenos aleatorios
Pueden ser representados aproximadamente por una
densidad de probabilidad normal

Ejemplo: Movimiento de la superficie del oceano.

Simulacin/2002

Hctor Allende

Proceso de Wiener-Lvy
Un proceso estocstico x(t) se dice que es un proceso de
Wiener-Lvy si:
i) x(t) tiene incrementos independientes estacionarios.
ii) Todo incremento independiente tiene distribucin normal.
iii) E[x(t)]=0 para todo el tiempo.
iv) x(0)=0
Este proceso se conoce en el mundo fisco comomovimiento
Browniano y juega un importante papel en la descripcin del
movimiento de pequeas particulas inmersas en un lquido o
gas.
Se puede demostrar que la varianza de un proceso WienerLvy aumenta linealmente con el tiempo .

Simulacin/2002

Hctor Allende

Proceso de Poisson
Un proceso de conteo N(t) se dice que es un proceso de
Poisson con razn media (o con intensidad) si:
i) N(t) tiene incrementos independientes estacionarios.
ii) N(0)=0
iii) El nmero de la longitud en cualquier intervalo de
tiempo est distribuido como Poisson con media . Esto
es:

P{N (t ) N (t ) k} e

( )
, k 0,1,...
k!
k

tambin se conoce como proceso de incremento de Poisson.

Simulacin/2002

Hctor Allende

Proceso de Poisson
Para un proceso estocstico de incrementos independientes,
se tiene la siguiente funcin de autocovarianza:
Var [ N (t1 ) N (t 2 )] para 0 t 2 t1
Cov[ x(t1 ), x(t 2 )]
e.t.o.c
0

Si x(t) tiene distribucin de Poisson, entonces:

(t1 t 2 ) ( (t 2 t1 )) para 0 t 2 t1
Cov[ x(t1 ), x(t 2 )]
e.t.o.c
0

Por lo tanto un proceso de incremento de Poisson es

estacionario en covarianza.
Simulacin/2002

Hctor Allende

Proceso de Bernoulli
Considerar una serie de intentos independientes con dos
salidas posibles: xito o fracaso. Un proceso de conteo Xn
se llama proceso de Bernoulli si Xn representa el nmero
de xitos en n ensayos.
Si p es la probabilidad de xito, la probabilidad de k xitos
dado n ensayos est dado por la distribucin binomial:
n k nk
P{ X n k} p q , donde q 1 p
k

Simulacin/2002

Hctor Allende

Proceso Ruido Blanco

Sea {a(t )}tT

un p.e., se llama ruido blanco
ssi:
E[a (t )] 0
i)
2
Cov
[
a
,
a
]

ii)
t
s
st
a
El ruido blanco es un proceso estocstico estacionario
2
Si a (t ) ~ N (0, a ) t T, en tal caso el ruido blanco
se dice Gaussiano.
Si t1 , t 2 ,..., t n T son independientes
entonces es ruido blanco puro

Simulacin/2002

Hctor Allende

Proceso de Medias Mviles

Sea {x(t ), t T } un p.e., se dice de media mvil de orden q
ssi:
xt at 1at 1 2 at 2 ..... q at q
donde

1 ,...., q , q 0

y {a(t )}tT es ruido blanco.

Notacin:

X ~ MA(q )

Simulacin/2002

Hctor Allende

Proceso Autoregresivo
Sea {x(t ), t T } un p.e., se dice autoregresivo de
orden p ssi:
xt 1 xt 1 2 xt 2 ... p xt p at

donde
y

1 ,...., p , p 0

{a (t )}tT

Notacin:

es ruido blanco.
X ~ AR( p )

Simulacin/2002

Hctor Allende

Proceso ARMA
Sea {x(t ), t T } un p.e., se dice autoregresivo de
media mvil de orden (p,q) ssi:
xt 1 xt 1 ... p xt p at 1at 1 ... q at q

donde
y

1 ,...., p ,1 ,..., q , p 0, q 0

{a (t )}tT

Notacin:

es ruido blanco.
X ~ ARMA( p, q )

Simulacin/2002

Hctor Allende

Proceso de Banda-Angosta
Un proceso estocstico de tiempo continuo y estado
estacionario x(t) es llamado un proceso de banda angosta si
x(t) puede ser expresado como: x(t ) A(t ) cos{ 0 (t )}
donde 0 = constante . La amplitud A(t), y la fase (t) son
variables aleatorias cuyo espacio de muestreo son 0A(t)
y 0 (t) 2, respectivamente.

Simulacin/2002

Hctor Allende

Generacin de
Procesos Estocsticos
Generacin de Procesos Estocsticos
Generacin de Familias de v.a. {Xt}t T
Comenzaremos con las cadenas de Markov homogneas.

Cadena de Markov en Tiempo Discreto

Para generar una cadena de Markov con espacio de estado S
y matriz de transicin P = [pij] donde pij = P(Xn+1=j / X = i). La
forma ms simple de simular la transicin (n+1)-sima,
conocida Xn, es generar Xn+1~{pxnj : j S}
Simulacin/2002

Hctor Allende

Generacin de
Procesos Estocsticos
Alternativamente se puede simular Tn, el tiempo hasta el
siguiente cambio de estado y, despus el nuevo estado
Xn+Tn. Si Xn = s, Tn ~ Geo(pss) y Xn+Tn tiene una distribucin
discreta con cuanta {psj / (1 - pss) : j S \ {s}}.
Para muestrear N transiciones de la cadena suponiendo
Xo = io
Algoritmo
Hacer t=0, Xo = io
Mientras t < N
Generar h ~ Geo(pxtxt)
Generar Xt+h ~ {pxtj / (1 - pxtxt) : j S \ {s}}.
Hacer t=t+h
Simulacin/2002
Hctor Allende

Generacin de
Procesos Estocsticos

OBS. 1) La primera forma de simular una cadena de

Markov, que corresponde a una estrategia
sincrnica, es decir en la que el tiempo de
simulacin
avanza a instantes iguales.
2) La estrategia asincrnica es ms complicada de
simular [Ver. B. Ripley 1996]

Simulacin/2002

Hctor Allende

Generacin de
Procesos Estocsticos
Cadenas de Markov en Tiempo Continuo
La simulacin asincrnica de cadenas de Markov en
tiempo continuo es sencilla de implantar.
- Las cadenas de Markov de Tiempo Continuo vienen
caracterizadas por los parmetros vi de las distribuciones
exponenciales de tiempo de permanencia en el estado i y
la matriz de transicin P; con pii = 0; pij = 1
- Sea Pi la distribucin de la fila i-sima. Entonces si Xo= io,
para simular hasta T se tiene :
i j

Simulacin/2002

Hctor Allende

Generacin de
Procesos Estocsticos
Algoritmo
Hacer t = 0, Xo = io , j = 0
Mientras t < N
Generar tj ~ exp(vxj)
Hacer t = t + tj
Hacer j = j + 1
Generar Xj ~ Pxj-1
Simulacin/2002

Hctor Allende

Generacin de
Procesos Estocsticos
Proceso de Poisson
En el Proceso de Poisson P(), el nmero de eventos NT
en un intervalo (0,T) es P(T) y los NT ~ U(0,T)
Algoritmo

-Generar NT ~ P(T)

- Generar U1, ..., UT ~ U(0,T)

Simulacin/2002

Hctor Allende

Generacin de
Procesos Estocsticos
1) Para procesos de Poisson no homogneos, con
t

intensidad (t) y u(t) =0 (s) ds . Entonces

- Generar NT ~ P(u(t))

I
- Generar T1, T2 ,..., TNT ~ (t ) [ 0,T ]

2) Los procesos de Poisson son un caso particular

de los procesos de renovacin. La forma de generar
los primeros se extiende a los procesos de
renovacin.
Simulacin/2002

Hctor Allende

Generacin de
Procesos Estocsticos
- Sean S0 = 0,

S1, S2, ...

Los tiempos de ocurrencia

- Ti = Si - Si-1 los tiempos entre sucesos.

- Para un proceso de renovacin, los Ti son v.a.i.i.d. segn
cierta distribucin .
- Simular hasta el instante T.
Hacer S0 = 0
Mientras Si < T
Generar Ti ~
Hacer Si = Ti + Si-1
Hacer i = i + 1
Simulacin/2002

Hctor Allende

Generacin de
Procesos Estocsticos
Procesos no Puntuales (Movimiento Browniano)
- La simulacin de procesos (no puntuales) en tiempo
continuo es ms complicada que la simulacin de procesos
puntuales.
-Una solucin es generar procesos en suficientes instantes
discretos y aproximar la trayectoria por interpolacin.

Simulacin/2002

Hctor Allende

Generacin de
Procesos Estocsticos
Como ejemplo, consideremos el movimiento Browniano
con parmetro 2
- X0 = 0
- Para s1 t1 s2 t2 ..... sn tn las v.a.
Xt1 - Xs1, ..., Xtn - Xsn son independientes
- Para s < t,

Xt - Xs ~ N(0, (t-s) 2)

-Las trayectorias son continuas

Simulacin/2002

Hctor Allende

Generacin de
Procesos Estocsticos
Entonces para t fijo,
Hacer X0 = 0
Desde i = 1 hasta n
Generar Yi ~ N(0, (t-s) 2)
Hacer Xit = X(i-1)t + Yi
Interpolar la trayectoria en {(it, Xit)}
Otros ejemplos de Simulacin de Procesos continuos [Ver
B. Ripley 1987]
Simulacin/2002

Hctor Allende

Generacin de
Procesos Estocsticos
El Proceso de Gibbs
El creciente inters en los mtodos de cadenas de Markov,
se debe al uso en Inferencia Bayesiana del Muestrador de
Gibbs. [Geman and Geman (1984)]
Ejemplo: Sean (X,Y) v.a.d. Bernoulli con distribucin
x
0
1
0
1

y P(X,Y)
0
p1
0
p2
1
p3
1
p4

Simulacin/2002

p
i 1

pi > 0
Hctor Allende

Generacin de
Procesos Estocsticos
P(X=1)

= p2 + p4 (Marginal)

P(X/Y=1)

p3 x 0
= p x 1
4

P(X=1/Y=1) =

p4
p3 p 4

Las Distribuciones condicionales

P ( y 0 / x 0 ) p ( y 1 / x 0)
Ayx

P ( y 0 / x 1) P ( y 1 / x 1)

Ayx

p1
p1 p3

p3
p1 p3

p2
p2 p4

p4
p2 p4

Simulacin/2002

Hctor Allende

Generacin de
Procesos Estocsticos
Algoritmo
Axy
Escoger Y0 = y0 , j =1
Repetir
Generar Xj ~ X/Y = yj-1
Generar Yj ~ Y/X = xj
j=j+1

p1
p1 p2

p2
p1 p2

p3
p3 p4

p4
p3 p4

Entonces {Xn} define una cadena de Markov con matriz de

transicin
A = Ayx Axy
Simulacin/2002

Hctor Allende

Generacin de
Procesos Estocsticos
Como las probabilidades pi > 0, la cadena es ergdica y
tiene distribucin lmite, que es la marginal de X
Xn

X ; Yn

Y ; (Xn, Yn)

(X,Y)

1)

El procedimiento descrito se llama muestrador de

Gibbs [Gibbs Sampler] y nos proporciona una
cadena de Markov, con distribucin lmite deseada y
se puede generalizar.
Para muestrear un vector aleatorio p-variante
X = (X1, X2, ..., Xp) con distribucin , conociendo
las distribuciones condicionadas Xs/Xr, r s
Simulacin/2002
Hctor Allende

Generacin de
Procesos Estocsticos
Sea (xs/xr, r s) Distribucin Condicionada
El [Gibbs Sampler] en este caso es
- Escoger X10, X20,..., Xp0 ; j = 1
Repetir
Generar X1j ~ X1/ X2j-1,..., Xpj-1
Generar X2j ~ X2/ X1j, X3j-1,..., Xpj-1
....
Generar Xpj ~ Xp/ X1j, X2j,..., Xp-1j
j = j+1

Simulacin/2002

Hctor Allende

Generacin de
Procesos Estocsticos
Se puede verificar que Xn = (X1n, X2n,..., Xpn) define una
cadena de Markov con Matriz de transicin
p

Pg(Xn, Xn+1) =

n 1
n
n 1

(
x
/
X
;
j

i
;
X
i
j
j , j i)
j 1

Bajo condiciones suficientemente generales [Ver Roberts

Smith (1994)]

Simulacin/2002

Hctor Allende

Generacin de
Procesos Estocsticos
Ejemplo : Muestrear la densidad
(x1/x2) =

exp[ x1 (1 x22 )] I ( x1 , x2 )
D

siendo D = R+ R
( x1 , x2 )
( x2 )

exp[

x
(
1

x
(x1/x2) =
1
2 )]
2
exp[

x
x
1 2]
(x2/x1) =

x1/x2 ~

exp[1 x22 ]

x2/x1 ~ N(0, 2=(1/2x1))

Simulacin/2002

Hctor Allende

Generacin de
Procesos Estocsticos
El muestreador Gibbs
Escoger x20 ; j = 1
Repetir
Generar X1j ~ exp[1+(x2j-1)2]
Generar X2j ~ N(0, 1/2x1j)
OBS: Las secuencias podran efectuarse en forma
aleatoria en lugar de usar la secuenciacin natural
Estudiar el Algoritmo de Metropolis-Hastings.

Simulacin/2002

Hctor Allende

Mtodos de Optimizacin y Simulacin:

1. Bsqueda Aleatoria Pura

2. Simulated Anneling
3. Algoritmos Genticos
4. Bsqueda Tab
5. Bsqueda Tab Probabilstica

Simulacin/2002

Hctor Allende