Santiago Javez Valladares

CADENAS DE MARKOV
Unidad de Aprendizaje

Teora de Colas, Cadenas de Markov

Sesin 04

Cadenas de Markov Ergodicas

Objetivos

Conocer la relacin entre estados basados en

probabilidades.
Aprender a elaborar Matrices de Cadenas de
Markov.
Aprender a calcular estados estables.
Interpretar la solucin .

Temas a tratar

1.
2.
3.
4.

Matriz de Cadena de Markov.

Caractersticas de una cadena de Markov
Solucin de Cadenas de Markov Ergodicas.
Aplicaciones de Cadenas de Markov .

Santiago Javez Valladares

Cadena de Markov
De forma sencilla una cadena de Markov es una serie de
eventos, en el cual la probabilidad de que ocurra un evento
depende del evento inmediato anterior.
En efecto las cadenas de Markov tienen memoria. Recuerdan el
ltimo evento y esto condiciona las posibilidades de los eventos
futuros.

Terremoto y Tsunamis

Lluvias y Huaycos

Ciclo de Vida de un Producto

Qu es una Cadena de Markov?

Es una Matriz discreta
que relaciona estados
finitos mediante
probabilidades que
expresan los
intercambios d estados
en un periodo de
tiempo.

DESARROLLO
Consideremos un cajero que
atiende a las personas que llegan
a una sucursal bancaria
Pensemos que en la fila nunca
hay ms de tres personas
(incluyendo la que se atiende)
Supongamos que los clientes no
llegan en grupos
Entonces el nmero de personas
en la fila (incluyendo la que se
atiende) puede tomar los valores
0, 1, 2, 3

DESARROLLO
Pensemos que el cajero tarda al
menos un minuto en atender a
un cliente y que en un minuto
dado no puede llegar ms de un
cliente al banco
Si observamos el nmero de
personas en la fila cada minuto,
esta cantidad puede:
Aumentar en 1, si llega otro
cliente antes de que atiendan al
que est en servicio
Disminuir en 1, si se termina de
atender al cliente y nadie ms
llega

Esto se repite a lo largo del da

Minuto 5

Minuto 6

Minuto 7

Minuto 8

10

DESARROLLO
Si podemos considerar que la cantidad de clientes en el
prximo minuto depende solamente de la cantidad de
clientes en el minuto actual, entonces podramos determinar
la probabilidad de tener una cierta cantidad de clientes en la
fila en el prximo minuto
Para ello requeriramos solamente probabilidades
condicionales del tipo:
P(en el siguiente minuto haya i clientes | en este minuto hay j
clientes)

A fin de poder calcular tales probabilidades, debemos contar

con:
Informacin acerca de la velocidad con que atiende el cajero a los
clientes
Informacin sobre la cantidad de clientes que llega al banco por
unidad de tiempo
11

Clasificacin de estados de una cadena de

Markov
Estado transitorio
El estado i es transitorio si y slo si existe un estado j que es accesible
desde i, pero donde el estado i no es accesible desde j

Estado recurrente
Un estado es recurrente si y slo si no es transitorio

Estado absorbente
Es un estado tal que despus de haber entrado all, el sistema ya nunca
saldr
Para que un estado i sea absorbente se requiere que pii = 1

DESARROLLO: TOMA DE DATOS

SE RECOJEN DATOS MINUTO

A MINUTO Y SE HACE UNA
LISTA

1
2
3
4
5
6
7
8
9
10
11
12
13
14

0
0
1
2
1
2
3
3
2
2
1
1
0
1

DESARROLLO
Clientes en el minuto n+1

Clientes en
el minuto n

Una forma adecuada de

organizar dicha informacin
es mediante una tabla o
matriz
En los renglones colocamos
el nmero actual de clientes
En las columnas, el nmero
de clientes en el siguiente
minuto
Llamemos Xn al nmero de
clientes en el minuto n

2
3

0
0

2
0

1
1

1
1

4
2

DESARROLLO

Clientes en el minuto n+1

Clientes en
el minuto n

Una forma adecuada

de organizar dicha
informacin es
mediante una tabla o
matriz
En los renglones
colocamos el nmero
actual de clientes
En las columnas, el
nmero de clientes
en el siguiente
minuto
Llamemos Xn al
nmero de clientes
en el minuto n

1/3

2/3

1/4

1/4

2/4

2/4
0

1/4
1/2

2
3

0
0

0
0
1/4
1/2

DESARROLLO: ERGODICA

DESARROLLO
Notemos que el primer rengln de la matriz anterior
indica las probabilidades de pasar a 0, 1, 2 o 3
clientes en la fila dado que ahora hay cero clientes
Como estos valores representan todos los posibles
resultados, deben sumar 1
Lo mismo ocurre con los otros renglones

A una matriz que cumple con esta condicin se le

llama matriz estocstica (probabilstica)

17

DESARROLLO

Clientes en el minuto n+1

Clientes en
el minuto n

Una forma adecuada

de organizar dicha
informacin es
mediante una tabla o
matriz
En los renglones
colocamos el nmero
actual de clientes
En las columnas, el
nmero de clientes
en el siguiente
minuto
Llamemos Xn al
nmero de clientes
en el minuto n

1/3

2/3

1/4

1/4

2/4

2/4
0

1/4
1/2

2
3

0
0

0
0
1/4
1/2

DESARROLLO

DESARROLLO

DESARROLLO

DESARROLLO: ESTADO ESTABLE

LA PROBABILIDAD DE NO TENER CLIENTES ES 1/8

LA PROBABILIDAD DE TENER 1 CLIENTE ES 1/3
LA PROBABILIDAD DE TENER 2 CLIENTES ES 1/3
LA PROBABILIDAD DE TENER 3 CLIENTES ES 1/6

Problema 1. El ascensor de un edificio con bajo y dos pisos realiza viajes de uno a
otro piso. El piso en el que finaliza el viaje n-simo del ascensor sigue una cadena de
Markov. Se sabe que la mitad de los viajes que parten del bajo se dirigen a cada uno
de los otros dos pisos, mientras que si un viaje comienza en el primer piso, slo el
25% de las veces finaliza en el segundo. Por ltimo, si un trayecto comienza en el
segundo piso, siempre finaliza en el bajo. Se pide:
a) Calcular la matriz de probabilidades de transicin de la cadena b) Dibujar el
grafo asociado
c) Cul es la probabilidad de que, a largo plazo, el ascensor se encuentre en cada
uno de los tres pisos?.

2) Un supermercado mantiene en inventario un cereal diettico, la demanda tiene

la siguiente distribucin de probabilidad: P(D=0)=0,20 ; P(D=1)=0,15 ; P(D=2)=0,35
; P(D=3)=0,2 ; P(D=4)=0,1
La poltica de inventario es : Pto. de reposicin= 1 Unid. y Lote a pedir =2 Unid.
La poltica actual establece que cuando la demanda es mayor a la existencia se
pierde toda la venta. Se propone cambiar a otra poltica, la cual establece que
cuando la demanda es mayor a la existencia se acumulan pedidos pendientes hasta
2 Unidades.
Se tienen en Inventario 3 Unidades al final de la semana previa al cambio de
poltica:
a)Encuentre la matriz de transicin de un paso.
b)Determine la distribucin de probabilidad del estado de esta cadena 3 semanas
despus de instituir la nueva poltica.
c)El costo de almacenamiento es de 500 Bs /Unidad . El costo por unidad no
disponible es de 650 Bs/Unidad. Determine el costo esperado para cada una de las
polticas. Cul es la mejor?.

 3)Una mquina funciona durante un determinado perodo de

tiempo con una probabilidad de falla de 0,3. El 60% de las
veces la falla puede repararse exactamente en un perodo y
en los dems casos se requieren exactamente 2 perodos
para la reparacin. Se puede suponer que las fallas se
reparan al final de un perodo. El costo por tiempo perdido
es de 50$ por perodo.
a)Formular esta situacin como una cadena de Markov,
describa los estados y las suposiciones, y desarrolle la matriz
de transicin.
b)Es posible contratar un ayudante adicional con un costo de
20$ por perodo de tiempo, con el objeto de que la falla
siempre sea reparada dentro del mismo perodo. Es
conveniente hacer esto?.

BIEN

1 DIA MAL

2 DIAS MAL

BIEN

0.30

0.70

1 DIA MAL

0.60

0.40

2 DIAS MAL

Costo: 0*50*Po+ 1*50*P1+2*50*P2

BIEN

MAL

BIEN

0.30

0.70

MAL

Costo: 0*50*Po+ 1*50*P1+20

4. Una costurera trabaja exclusivamente en una fase del proceso de produccin

de un diseo especial de prenda de vestir, esta fase requiere exactamente
hora para terminar una prenda. Cada 30 min. Llega un mensajero a la mesa de
la costurera, para recoger todas aquellas prendas que estn terminadas y
entregar las nuevas prendas que deben ser cosidas. El nmero de nuevas
prendas que lleva el mensajero: 30% del tiempo el mensajero llega sin prendas
para ser cosidas, 50% de las veces el mensajero trae slo una prenda para dejar
y el 20% de las veces trae 2 prendas para la costurera. Sin embargo, el
mensajero tiene instrucciones de nunca dejar ms de 3 prendas juntas no
terminadas a la costurera. (Las prendas no terminadas que no puedan dejarse
a la costurera, se llevan a otra costurera).
Determine el % de tiempo que la costurera permanece ociosa, considerando
que cualquier cantidad de piezas no terminadas que estn en la mesa de la
costurera al final de un turno de trabajo, permanecen ah para ser procesadas
durante el siguiente turno de trabajo.
0

0.30+0.50

0.20

0.30

0.50

0.20

0.30

0.50

0.20

0.30

0.70

2
0
0

1
0

2
COMO NO SE TIENE
MAQUINAS PARA MAA
LAS DOS ESTAN BIEN
1

ES IMPOSIBLE POR
QUE SE TIENE UNA
EN REPARACION
0

SE CUBRE DEMANDA DE >= 1*SE

MALOGRA EL ACTUAL
(0.4+0.2)*0.5=0.30

LA DEMANDA ES CERO:
0.4*1*1=0.4
LA DEMANDA ES >=1:
(0.4+0.2)*0.5*1=0.30
0.40+0.30=0.70

2
LA DEMANDA ES 2 Y
SEMALOGRAN

0.2*0.5*0.5=0.05

LA DEMANDA ES 1 Y SE
MALOGRA+LA DEMANDA ES 2 Y SE
MALOGRA UNO DE LOS CAMIONES
0.4*0.50*1
+0.2*0.5*0.5
+0.2*0.5*0.5=0.30

LA DEMANDA ES 0 +LA
DEMANDA ES 1 Y NO SE
MALOGRA+ LA DEMANDA
ES 2 Y NO SE MALOGRA
NINGUNO
0.4*1*1+0.4*0.5*1+0.2*0.5
*0.5=0.65

Estado transitorio

Estado n+1

Estado n

En la siguiente matriz de
transicin, el estado 2 es
transitorio, ya que de l es
posible pasar directamente
al estado 0, pero no de
regreso
Por tanto existe la
posibilidad de que el
sistema pase del estado 2 al
0 y no regrese nuevamente

0.25

0.25

0.5

0.1

0.5

0.25

0.15

2
3

0.3
0.2

0.1
0.1

0.4
0.4

0.2
0.3

Estado transitorio
0.25
0.5

0.25
0.10

1
0.25

0.50

0.15
0.30

0.10
0.10

3
0.20

0.40

0.30

0.40
0.20

El estado 2 es transitorio. Notamos que tiene una

conexin directa al estado 0, pero no de regreso

Estado recurrente

32

Estado n+1

Estado n

En la siguiente matriz de
transicin, todos los
estados, excepto el 2, son
recurrentes
Esto es porque desde los
estados 0,1 y 3 se puede
acceder a cualquiera otro
estado, y a su vez, los
estados 0,1 y 3 son
accesibles desde cualquier
otro estado

0.25

0.25

0.5

0.1

0.5

0.25

0.15

2
3

0.3
0.2

0.1
0.1

0.4
0.4

0.2
0.3

Estado recurrente
0.25
0.5

0.25
0.10

1
0.25

0.50

0.15
0.30

0.10
0.10

Las flechas
coloreadas por
pares indican las
conexiones
desde y hacia el
estado 1

3
0.20

0.40

0.30

0.40
0.20

Los estados 1, 2 y 3 son recurrentes. Notamos que cada estado que tiene una
conexin directa desde ellos, tambin la tiene hacia ellos

Estado absorbente

Estado n+1

Estado n

En la siguiente matriz de
transicin, el estado 0 y el
estado 2 son absorbentes,
ya que una vez entrando en
alguno de ellos, el sistema
no vuelve a salir
Esto ocurre porque la
probabilidad de pasar al
estado 0 dado que se
encuentra en el estado 0 es
igual a 1
Anlogamente ocurre para
el estado 2

0.1

0.5

0.25

0.15

2
3

0
0.2

0
0.1

1
0.4

0
0.3

Estado absorbente
0.5

1
0.10

1
0.25
0.15

0.30

0.10

0.30

0.40
0.20

Los estados 0 y 2 son absorbentes. Notamos que una vez que el

sistema llega a alguno de ellos, no vuelve a salir

Ejercicio: La carrera de diplomado en CCEE tiene 3 cursos. A partir

de los datos facilitados por el decanato del centro se sabe que el 35%
y el 26% de los alumnos de primero y segundo abandonarn los
estudios. El 28% de los alumnos de primero repiten curso, siendo
este porcentaje del 20% y 30% para los alumnos de segundo y
tercero respectivamente.
1

ABANDONA

0.28

0.37

0.35

0.20

0.54

0.26

0.30

0.70

ABANDONA 0

EVALUACION

1.- Markov fue:

a) Telogo y Hngaro.
c) Telogo y Ruso.
d) Matemtico y Hngaro.
e) Matemtico y ruso.