Cadenas de

markov
UNIDAD 4
INVESTIGACIN DE OPERACIONES II

Sumario
Procesos estocsticos
Concepto de cadena de Markov
Ecuaciones de Chapman-Kolmogorov
Clasificacin de estados
Cadenas absorbentes
Distribucin estacionaria

Proceso estocstico
Es un modelo matemtico que
describe el comportamiento de
un sistema dinmico sometido a
un fenmeno de naturaleza
aleatorio.

Caractersticas de un proceso
estocstico
Es una funcin aleatoria que
vara en el tiempo.
Sus valores no pueden ser
predichos con exactitud, sino
con cierta probabilidad.

Ejemplo de proceso
estocstico
Lanzamos una moneda al aire 6 veces.
La cosecha de uva sea exitosa en el 2015
y en el 2016.
Sus valores no pueden ser predichos en el
futuro con exactitud sino con probabilidad.

proceso estocstico
Si para un sistema S compuesto
por n estados diferentes, se
conoce la probabilidad de pasar
de un estado a otro, estamos en
presencia de un PROCESO
ESTOCSTICO.

Proceso estocstico
Un proceso estocstico se puede
expresar mediante una matriz cuadrada
P llamada MATRIZ DE PROBABILIDAD
MATRIZ DE TRANSICIN MATRIZ
ESTOCSTICA.
S
S

S
1

P =

S1

P11

P12

P1m

S2

P21

P22

P2m

Sm

Pm1

Pm2

Pmm

Representacin de un
proceso estocstico

Grafo

rbol

Representacin del
Proceso estocstico
Cuando no se especifica el estado inicial
del sistema se utiliza un grafo. Tambin
llamado DIAGRAMA DE TRANSICIN DE
ESTADOS.
Cuando se especifica el estado inicial se
utiliza el rbol.

Clasificacin de los procesos

estocsticos
Procesos aleatorios puros: Cuando la
probabilidad de que el sistema se
encuentre en el estado Sj en la fecha tm
es independiente de todos los estados
anteriores ocurridos en fechas anteriores.

Proceso de tipo Markov: Cuando la

probabilidad de un suceso depende
solamente del suceso inmediatamente

Cadenas de Markov

Definicin
Las cadenas de Markov y los procesos de
Markov son un tipo especial de procesos
estocsticos que poseen la siguiente
propiedad:
Propiedad de Markov: Conocido el
estado del proceso en un momento dado,
su comportamiento futuro no depende
del pasado. Dicho de otro modo, dado el
presente, el futuro es independiente del
pasado

DIAGRAMA DE TRANSICIN
DE ESTADOS
El diagrama de transicin de estados
(DTE) de una Cadena de Markov (CM) es
un grafo dirigido cuyos nodos son los
estados de la CM y cuyos arcos se
etiquetan
con
la
probabilidad
de
transicin entre los estados que unen. Si
dicha probabilidad es nula, no se pone
arco.
q
i

ij

EJEMPLO
DIAGRAMA DE TRANSICIN DE
ESTADOS
Sea una lnea telefnica de estados
ocupado=1 y desocupado=0. Si en el
instante t est ocupada, en el
instante t+1 estar ocupada con
probabilidad 0,7 y desocupada con
probabilidad 0,3. Si en el instante t
est desocupada, en el t+1 estar
ocupada con probabilidad 0,1 y
desocupada con probabilidad 0,9.

LINEA TELEFNICA
0,9 0,1

Q
0,3 0,7
0,1
0,9

1
0,3

0,7

EJEMPLO 2
Para un proceso se utiliza una mquina que se
deteriora a lo largo del tiempo. Peridicamente
es necesario inspeccionarla, teniendo en
cuenta los siguientes estados:
S1: la mquina se encuentra en estado perfecto
S2: la mquina presenta un deterioro no
importante u puede seguir operando.
S3:la mquina presente un deterioro
importante, con rendimiento muy bajo, pero
puede seguir operando.
S4:la mquina no puede seguir trabajando y por
lo tanto debe ser remplazada por una nueva.

SIENDO LA MATRIZ DE
PROBAbilidad
S1

S2

S3

S4

S1

7/8

1/16

1/16

S2

3/4

1/8

1/8

S3

1/2

1/2

S4

Suponer que el estado inicial de la

mquina es S1, represente el proceso
estocstico.

Cmo los estados del sistema son

independientes. Por lo tanto, la probabilidad de
que el sistema partiendo del estado S1 se
encuentre en el estado S2 en dos pasos es:
(S1 , S2 , S2 )

P12(2) = P12 P22 = 0.65625

Cul es la probabilidad de que el sistema
se encuentre en S3 , partiendo de S1 ?
P13(2) = P12 P23 + P13 P33 = 7/8 * 1/8 + 1/16
*
= 0.140625

 En resumen se dice que un proceso estocstico

{Xt} es una cadena de Markov de estado finito
si:

Est formado por un nmero finito de

estados

Cumple con la probabilidad Markoviana

Se da un conjunto de probabilidades
iniciales P

Anlisis de Markov
Llamado as en honor de un matemtico
ruso que desarrollo el mtodo en 1907.

Permite encontrar la probabilidad de que

un sistema se encuentre en un estado en
particular en un momento dado.

Cadenas de Markov
homognea
Una CM es homognea si la
probabilidad para que,
encontrndose el sistema en el
estado Si en el instante n= llegue al
estado Sj en el instante n= (es decir en (
) pasos) ,depende slo de Si y de Sj y de
d= ( ) independientemente de los dos
instantes y

Estados de una cadena de

Markov
Estados comunicantes: Si Sj
es
consecuente de Si , y Si es consecuente
de Sj , entonces se dice que Si y Sj son
estados comunicantes
1 0
0 0
0

0 0

0
0 0

Diagrama de transicin de
estados
2
1/2
1/2

1/2

1/2
3

4
1/2
1/2

C1={S1,S3,S4}
C2={S1}

 Un conjunto formado por estados

comunicantes entre s, se denomina
clase comunicante.
Las clases comunicantes constituyen una
subred fuertemente conexa, (para
cualquier par de estados Si, Sj , existe por
lo menos un camino que los relaciona).

Estados sin retorno

Un estado Si es sin retorno cuando no se

comunica con ningn otro estado del

sistema. consecuente de Si , y Si es
consecuente de Sj , entonces se dice que Si
y Sj son estados comunicantes.

S1 es un estado sin
Retorno, pero si
Tiene descendientes

1/3
2
4

1/3

1/2

1/3

1/3

2/3

1/3
1/2

Estados absorbentes

Un estado es absorbente cuando la

probabilidad de que se quede en su
mismo estado es igual a 1 , es decir no
cambia de estado.

El estado Si es absorbente si pij = 1

1/3

1/3

1/3

2/3

1/3

Cadenas de Markov
irreducibles ergdicas
Una CM es irreducible si cada estado sj
se puede alcanzar desde cualquier otro
estado si despus de un nmero finito de
transiciones.
Una CM es ergdica si se encuentra por
lo menos un circuito que pasa por todos
los nodos (estados), en otras palabras,
todos los estados del sistema
pertenecen a la misma clase
comunicante

La siguiente CM es irreducible

La siguiente CM no es irreducible