2.3.

- CADENAS DE MARKOV
Las cadenas de Markov tienen la propiedad particular de
que las probabilidades que describen la forma en que el
proceso evolucionar en el futuro, depende slo del estado
actual en que se encuentra el proceso, y por lo tanto, son
independientes de los eventos ocurridos en el pasado.
Sea el proceso estocstico {X
n
donde n = 0, 1, 2, .n} donde
X
n
= t, es el estado t del sistema en el tiempo n.
Ejemplo: Modelo de enfermedades contagiosas
Propiedad Markoviana (independencia Condicional)
El estado futuro del sistema depende de su trayectoria
pasada solo a travs del presente:
P
ij
= Pr{ X
n+1
=j / X
0
=i
0
, X
1
=i
1
, X
n-1
= i
n-1
, X
n
=i} = Pr{ X
n+1
= j / X
n
= i }
Por tanto:
P
ij
= Pr{ X
n+1
=j / X
n
=i } para todo n=0, 1, .
Llamaremos P
ij
la probabilidad de transicin de estar en el
estado j en el momento n+1, conocidos los estados
anteriores.
Propiedad de estacionalidad
La probabilidad del estado futuro depende del valor del estado
presente, pero no de la etapa en que nos encontramos, es
decir, no depende de n. La probabilidad de transicin no
cambia en el tiempo.
P
ij
= Pr{ X
n+1
=j / X
n
=i} = Pr{ X
n+m+1
=j / X
n+m
=i}
Definicin 5: Sea {X
n
= 0,1,2,.n} un proceso estocstico
con la propiedad markoviana y con la propiedad de
estacionalidad, entonces este proceso se denomina cadena
de Markov en tiempo discreto.
P
ij
= probabilidad de transicin en una etapa
P = ( P
ij
) = matriz de probabilidades de transicin en una
etapa.
1
1
1
1
1
1
]
1

n n n
n
n
i j
P P
P P
P P P
P P
. . .
. .
.
. . .
) (
0
1 1 0
0 0 1 0 0
Propiedades de la matriz P:
Es una matriz cuadrada y puede ser finita o infinita
P no tiene porqu ser simtrica P
ij
P
ji
La dimensin de P corresponde al nmero de estados del
sistema.
La suma de los estados de una fila debe ser 1

n
j
ij
P
0
1
i = 0,1,2..n
La suma de los estados de una columna no tiene ninguna
interpretacin especial.
Ejemplo:
Una multi-tienda tiene un modelo especial de cmaras
fotogrficas que puede ordenar cada semana.
Sean D
1
, D
2
, ..D
n
, las demandas durante la primera,
segunda y n-sima semana respectivamente. (se supone que
las D
i
son v.a. que tienen una distribucin de probabilidad
conocida)
.
X
0
: nmero de cmaras que se tiene al iniciar el proceso.
Suponga que X
0
=0
X
1
: nmero de cmaras que se tiene al final de la semana 1
X
2
: nmero de cmaras que se tiene al final de la semana 2
X
n
: nmero de cmaras que se tiene al final de la semana n
Suponga que la multitienda utiliza una poltica de pedidos
(s,S), es decir siempre que el nivel de inventario sea menor
que s, se ordenan hasta S unidades (S>s). Si el nivel de
inventario es mayor o igual, no se ordena. Se tiene: s=1; S=3
Se supone que las ventas se pierden cuando la demanda
excede el inventario. Entonces {X
t
} para t=1, 2, n es un
proceso estocstico
El nmero posible de cmaras en inventario al final de la
semana t son: { 0, 1, 2, 3 } estados posibles del sistema.
Las v.a. X
t
son dependientes y se pueden evaluar en
forma iterativa por medio de la expresin:
Max {(3 D
t+1
), 0}si X
t
< 1
X
t+1
=
Max {(X
t
D
t+1
), 0} si X
t
1
Para este caso observe que {X
t
} es una cadena de Markov.
X
t
= nmero de cmaras al final de la semana t (antes de
recibir el pedido)
D
t
= demanda de cmaras en la semana t. Suponga que tiene
D
t
~Poisson(=1)
P
00
= Pr{ X
t
=0 / X
t-1
=0} = Pr { D
t
3} = 1 - Pr { D
t
2 } = 0.08
P
10
= Pr{ X
t
=0 / X
t-1
=1} = Pr { D
t
1} = 1 - Pr { D
t
= 0 } = 0.632
P
21
= Pr{ X
t
=1 / X
t-1
=2} = Pr { D
t
=1} = 0.368
Similarmente se obtienen las otras probabilidades
1
1
1
1
]
1

368 . 0 368 . 0 184 . 0 080 . 0

00 . 0 368 . 0 368 . 0 264 . 0
00 . 0 00 . 0 368 . 0 632 . 0
368 . 0 368 . 0 184 . 0 080 . 0
P
Probabilidad de Transicin en m etapas
Ecuaciones de Chapman-Kolmogorov
Las ecuaciones de Chapman-Kolmogorov proporcionan un
mtodo para calcular las probabilidades de transicin de n
pasos
P
ij
(n)
= probabilidad condicional de la v.a. X, comenzando en el
estado i se encuentre en el estado j despus de n etapas.
P
ij
(n)
= P{X
m+n
= j / X
m
= i } = P{X
n
= j / X
0
= i }
Al ir del estado i al estado j en n pasos, el proceso estar en
algn estado k despus de exactamente r pasos
i
k
j
Etapa m+r
Etapa m+n
Etapa m
P
ij
(n)
= P
ik
(r)
P
kj
(n-r)

k
Entonces:
P
ij
(n)
= P
(n)
= P
(r)
P
(n-r)
= matriz de transicin en n etapas
Una matriz de transicin en n etapas, se puede determinar
conociendo la matriz de transicin en una etapa y elevarla n
veces.
1
1
1
1
1
]
1

) ( ) (
0
) (
0
) (
00
) (
... ...
. .
. .
... ...
n
MM
n
M
n
M
n
n
P P
P P
P
Propiedades:
P
(n+m)
= P
(n)
P
(m)
El producto de dos matrices de Markov siempre es una
matriz de Markov.
Ejemplo:
Para el problema de inventarios donde la matriz de transicin
de un paso estaba dado por:
1
1
1
1
]
1

368 . 0 368 . 0 184 . 0 080 . 0

00 . 0 368 . 0 368 . 0 264 . 0
00 . 0 00 . 0 368 . 0 632 . 0
368 . 0 368 . 0 184 . 0 080 . 0
P
La matriz de transicin de dos pasos es:
1
1
1
1
]
1

165 . 0 300 . 0 286 . 0 249 . 0

097 . 0 233 . 0 319 . 0 351 . 0
233 . 0 233 . 0 252 . 0 283 . 0
165 . 0 300 . 0 286 . 0 249 . 0
) 2 (
P
La matriz de transicin de 4 pasos:
1
1
1
1
]
1

164 . 0 261 . 0 286 . 0 289 . 0

171 . 0 263 . 0 283 . 0 284 . 0
166 . 0 268 . 0 285 . 0 282 . 0
164 . 0 261 . 0 286 . 0 289 . 0
) 4 (
P
Distribucin de Probabilidades
del proceso en la etapa n Pr{ X
n
=j }
Las probabilidades de transicin de 1 n pasos son
probabilidades condicionales, por ejemplo:
P
ij
(n)
= P{X
n
= j / X
0
= i }
Si se desea la probabilidad incondicional Pr{ X
n
=j } es
necesario que se especifique la distribucin de probabilidad
del estado inicial:
} {
{ }
} {

,
_

,
_

) (
) (
1
) (
0
) (
P r
1 P r
0 P r
n
j
n
n
n
n
n
n
f
f
f
j X
X
X
f
f
(n)
= vector de distribucin de probabilidades de la variable
discreta X
n
en la etapa n
f
(0)
= distribucin de probabilidades inicial

i
n n
n
j
i X i X j X j X f } Pr{ } / Pr{ } Pr{
0 0
) (
donde i son los estados posibles del estado inicial

i
i
n
ij
n
j
f P f
) 0 ( ) ( ) (
[ ] [ ]
) 0 ( ) 0 ( ) ( ) (
f P f P f
T
n
T
n n

Visitas a un estado fijo
Supongamos que X
0
=i (un estado fijo). Se quiere estudiar el
tiempo que transcurre hasta que ingresamos al estado j por
primera vez (j es un estado fijo)
T(i,j)= tiempo que transcurre para ir del estado i al j por
primera vez:
Pr{T(i,j)=k} = Pr{X
1
j, X
2
j, X
k-1
j X
k
=j / X
0
= i} = F
k
(i,j)
Donde F
k
(i,j) es la probabilidad de que el tiempo de ir del
estado i al j por primera vez sea en k etapas.

j l
K il K
j l F P j i F ) , ( ) , (
1
Si k=1 F
1
(i,j) = Pr{T(i,j)=1} = P
ij
Si k 1

j l
K il K
j l F P j i F ) , ( ) , (
1
Por lo tanto la probabilidad de ir del estado i al estado j alguna
vez es:
Pr{ ir de i a j alguna vez}

1
) , ( ) , (
k
K
j i F j i F
i
j

+
j l
il j i
j l F P P j i F ) , ( ) , (
,
Tiempo Medio

1
) , ( )) , ( (
K
K
j i kF j i T E
Clasificacin de estados en
una cadena de Markov
Definicin 6:
Se dice que el estado j es accesible desde el estado i, si
P
ij
(n)
>0 para alguna etapa n 0
Que el estado j sea accesible desde el estado i significa
que es posible que el sistema llegue eventualmente al estado
j si comienza en el estado i.
En general, una condicin suficiente para todos los
estados sean accesibles es que exista un valor de n para el
que P
ij
(n)
>0 para todo i y j
Ejemplo: del jugador
El estado 2 no es accesible desde el estado 3
El estado 3 si es accesible desde el estado 2
1
1
1
1
]
1

1 0 0 0
0 1 0
0 0 1
0 0 0 1
p p
p p
Definicin:
Si el estado j es accesible desde el estado i, y el estado i es
accesible desde el estado j, entonces se dice que los estados
i y j se comunican.
Propiedades de la comunicacin
Cualquier estado se comunica consigo mismo
P
ii
(0)
= P{X
0
=i/X
0
=i} =1
Si el estado i se comunica con el estado j, el estado j se
comunica con el estado i
i j i j
Si el estado i se comunica con el estado j y el estado j se
comunica con el estado k, entonces el estado i se
comunica con el estado k.
i j j k
i k
Si j es accesible desde i, existe n tal que P
ij
(n)
>0
Si k es accesible desde j, existe n tal que P
jk
(n)
>0
El concepto de comunicacin divide el espacio de
estados en clases ajenas, es decir que dos clases
siempre son idnticas o disjuntas.
Ningn estado puede pertenecer a dos clases distintas.
Dos estados que se comunican entre si, se dice
pertenecen a la misma clase.
Definicin 7: Una matriz de una sola clase se dice
irreducible.
Ejemplo:
1
1
1
]
1

3 / 2 3 / 1 0
4 / 1 4 / 1 2 / 1
0 2 / 1 2 / 1
P
solo hay una clase
1
1
1
1
]
1

1 0 0 0
4 / 1 4 / 1 4 / 1 4 / 1
0 0 2 / 1 2 / 1
0 0 2 / 1 2 / 1
P
hay tres clases
Definicin 8: Sea F(i,i) la probabilidad de retornar al estado i,
alguna vez, dado que se comienza en el estado i.
1. Si F(i,i) < 1 el estado i es transitorio (o transiente)
2. Si F(i,i) = 1 el estado i es recurrente
Si E(T(i,i)) =

el estado i es recurrente nulo

Si E(T(i,i)) <

el estado i es recurrente positivo

Un caso especial de un estado recurrente es un estado
absorbente. Un estado es absorbente si una vez que se
entra en l no se puede abandonar, es decir, P
ii
= 1
Por lo general no es fcil determinar si un estado es
recurrente o transitorio evaluando F(i,i). Por lo tanto no es
evidente si un estado debe clasificarse como recurrente o
transitorio.
Si un proceso de Markov se encuentra en el estado i y el
estado es transitorio, entonces la probabilidad de que no
regrese al estado i es (1-F(i,i)).
Por tanto el nmero esperado de periodos que el proceso
se encuentra en el estado i es finito y est dado por 1/(1-F(i,i))
Propiedades:
En una matriz de Markov de nmero finito de estados
no todos pueden ser transitorios.
Si i es recurrente y adems i se comunica con j,
entonces j es recurrente.
Si i es transitorio y adems i comunica con j, entonces j
es transitorio.
Todos los estados de una cadena de Markov de estado
finito irreducible son recurrentes.
Por tanto:
Una clase es recurrente si no se puede salir de ella
Una clase es transitoria si se puede salir de ella y
no hay forma de regresar.
Definicin 9:
Si existen dos nmeros consecutivos s y s+1 tales que el
proceso puede encontrarse en el estado i en los tiempos s y
s+1, se dice que el estado tiene periodo 1 y se llama estado
aperidico. Por tanto, un estado es peridico si, partiendo
de ese estado, solo es posible volver a l en un nmero de
etapas que sea mltiplo de un cierto nmero mayor que uno
Los estados recurrentes positivos aperidicos se
denominan ergdicos
En una matriz de Markov finita, los estados recurrentes
son recurrentes positivos
Una cadena de Markov es ergdica si todos sus estados
son ergdicos
Evolucin del proceso en el largo plazo
Definicin 10: Para una cadena de Markov irreducible
ergdica si el
) (
lim
n
ij
n
P

existe y es independiente del estado
inicial i entonces tiene una distribucin estacionaria tal que:
0
)) , ( (
1
lim
) (
>

j j T E
P
j
n
ij
n

donde:

M
i
ij i j
P
0

j=0,1,2M

M
j
j
0
1
Las
j
se llaman probabilidades de estado estable de la
cadena de Markov y son iguales al inverso del tiempo
esperado de recurrencia.
La probabilidad de encontrar el proceso en un cierto
estado, por ejemplo j, despus de un nmero grande de
transiciones tiende al valor
j.
Este valor es independiente de la distribucin de
probabilidad inicial definida para los estados.

Si una cadena de Markov tiene distribucin estacionaria
en que
j
>0 para algn j, entonces es la solucin del
sistema

T
=
T
P

i
= 1

i
0
1
1
1
1
]
1

nn n n
n
n
n n
P P P
P P P
P P P
2 1
2 22 21
1 12 11
2 1 2 1
...
...
) ,... , ( ) ,...... , (
Costos promedios esperados
Suponga que se incurre en un costo C(X
t
) cuando el proceso
se encuentra en el estado X
t
en el tiempo t, para t=0,1,.. El
costo promedio esperado por unidad de tiempo (a la larga),
est dado por:

M
j
j
j C
0
) (