Cadenas de Markov

Tiempo Discreto
Modelado y Anlisis de Redes de
Telecomunicaciones

Motivacin Ejemplo 1
Sea un enrutador al que arriban paquetes de
otros (varios) routers

Cuando

ms de un paquete llega a la misma vez a

alguno de los puertos de salida, el ltimo en llegar
se almacena en un buffer
Pregunta: cmo dimensionar el buffer?
pgina 2

Cadenas de Markov

Evaluacin de Performance

Motivacin Ejemplo 2
Sean un conjunto de usuarios de telfono

PSTN

Cuando

todas las lneas estn siendo utilizadas,

las nuevas llamadas son rechazadas
Problema: cuntas lneas contratar?

pgina 3

Cadenas de Markov

Evaluacin de Performance

Motivacin
En ambos ejemplos, hacer un anlisis
determinstico no es una opcin

Al ser un sistema asncrono, los paquetes pueden

llegar en cualquier momento y tienen un tamao
cualquiera (al menos dentro de cierto rango)
Las llamadas telefnicas pueden llegar en cualquier
momento y su duracin es totalmente arbitraria

Sin embargo

Los paquetes de 1500B son ms frecuentes (o con

probabilidad mayor) que los de 10B
Las llamadas largas son menos frecuentes (o con
probabilidad menor) que las llamadas cortas

Por lo tanto, un enfoque probabilstico del

problema nos dar mejores resultados
pgina 4

Cadenas de Markov

Evaluacin de Performance

Proceso Estocstico
Hay veces que lo importante no es un valor
nico, sino una sucesin temporal (aleatoria)

Cuntos paquetes hay en el buffer en cada instante t

Cuntas llamadas estn siendo cursadas en cada
instante t

Un proceso estocstico le asigna a cada

elemento del espacio muestral S una funcin en
t (sucesin de variables aleatorias)
A cada elemento de S se le asocia una funcin Xt()

Para un valor de , Xt() es una funcin temporal

Para un valor de t, Xt() es una variable aleatoria
Para un valor de t y , Xt() es un valor fijo

Generalmente la funcin Xt() para un dado, es

llamado realizacin del proceso o trayectoria
pgina 5

Cadenas de Markov

Evaluacin de Performance

Proceso Estocstico
Espacio de estados

El conjunto de posibles valores que puede tomar

Xt() (continuo o discreto)

Espacio de parmetros

El conjunto de posibles valores que puede tomar t

(continuo o discreto)

Algunos parmetros de inters:

Distribucin temporal: la distribucin de la v.a. Xt

para un t dado
Distribucin estacionaria: la distribucin de la v.a.
Xt cuando t (si existe)

pgina 6

Cadenas de Markov

Evaluacin de Performance

Proceso Estocstico
Algunos parmetros de inters (cont)
Estadsticas de orden n (o distribuciones finitodimensionales)
para todos los posibles conjuntos {t1,,tn}
Ejemplos:

Estadstica de orden 1:

la distribucin estacionaria
la esperanza para un t dado

pgina 7

Estadstica de orden 2: la covarianza

Cadenas de Markov

Evaluacin de Performance

Procesos Estacionarios y Ergdicos

Proceso estacionario

El proceso es estacionario cuando las estadsticas de todos

los rdenes permanecen incambiadas por una traslacin
temporal
Ms sencillo de verificar es un proceso estacionario en el
sentido amplio (la media y la covarianza son invariantes)

Proceso ergdico

La estadstica de Xt() para un dado es la misma que la

de Xt para un t dado
Consecuencia prctica: con una nica realizacin (infinita)
del proceso puedo obtener toda la estadstica de Xt()

pgina 8

Cadenas de Markov

Evaluacin de Performance

Procesos de Markov
Un proceso estocstico es de Markov si:

La condicin se puede interpretar de varias maneras:

El futuro de un proceso de Markov depende nicamente del

estado actual (y no de cmo se lleg a l)
El estado actual de un proceso de Markov es toda la
informacin que se necesita para caracterizar el futuro
Dado el estado actual, el futuro y el pasado son indeptes.

Se pueden analizar mediante procesos de

Markov los ejemplos que dimos al comienzo?
pgina 9

Cadenas de Markov

Evaluacin de Performance

Cadena de Markov -Tiempo Discreto

Una cadena de Markov en Tiempo Discreto
(CMTD) es un proceso de Markov con:
Espacio de estados E discreto (finito o no)

Un sub-conjunto de los naturales

Espacio de parmetros discreto tambin (t = 0,1,2 )

Es decir

La condicin resulta:

pgina 10

Cadenas de Markov

Evaluacin de Performance

CMTD - Definicin
El proceso est caracterizado por las
probabilidades de transicin del estado i al j en
el instante n
Estas probabilidades describen la evolucin del
sistema
De aqu en adelante asumiremos
homogeneidad: pij(n)=pij
Interesa estudiar P(Xn=i)
Probabilidad de que el sistema se encuentre en el estado
i en tiempo n
pgina 11

Cadenas de Markov

Evaluacin de Performance

CMTD - Ejemplo
Un ratn dentro de un laberinto:
El ratn slo puede moverse por los corredores en la
direccin de las flechas y la pieza 3 tiene la salida
En cada pieza elige al azar entre las posibles
direcciones, sin recordar su recorrido anterior
Xn={Pieza a la que va el ratn despus de cada
eleccin} es una cadena de Markov?

pgina 12

Cadenas de Markov

Evaluacin de Performance

CMTD Grafo Asociado

La manera clsica de representar la
cadena es mediante el denominado grafo
asociado

pgina 13

Cadenas de Markov

Evaluacin de Performance

CMTD Matriz de Transiciones

Otra manera de representar la cadena es mediante una
matriz (podra ser infinita), llamada matriz de
transiciones:
Es una matriz estocstica :

Fila i: probabilidades
de pasar a los otros
estados desde i (debe
sumar 1)

Columna j:
probabilidades de
llegar a j por los otros
estados
pgina 14

Cadenas de Markov

Evaluacin de Performance

CMTD Distribucin
Se llama ley o distribucin de X en el instante n al
vector n (quiz infinito) n=(n(j))jE

n es un vector de probabilidad: n(j)=1 y n(j)0

En particular se llama ley o distribucin inicial a 0
Conociendo la ley inicial y las probabilidades de
transicin queda completamente determinada la
probabilidad de una trayectoria
En el ejemplo del ratn, si arranca en 5 queda ah por
siempre
pgina 15

Cadenas de Markov

Evaluacin de Performance

CMTD Distribucin
Cunto vale n+1?

Por recurrencia vale:

Probabilidad de pasar de i a j en n pasos
Ecuaciones de Chapman-Kolmogorov

pgina 16

Cadenas de Markov

Evaluacin de Performance

CMTD -Distribucin
Tomemos la siguiente cadena sencilla:
1/3
1

2/3

4/5

1/5

Despus de un cierto tiempo, la distribucin de la cadena

converge a un nico valor sin importar la condicin inicial

Esto es siempre verdad? Si no, cundo?

Veremos

pgina 17

que tiene relacin con la ergodicidad

Cadenas de Markov

Evaluacin de Performance

CMTD Distribucin Lmite

Se quiere estudiar el sistema (las leyes de probabilidad del
sistema) al cabo de un tiempo largo
En particular, saber si hay un rgimen asinttico, es decir si
es ley lmite de X si existe 0 tal que

En principio las leyes lmites (si existen) dependen de 0 y del

comportamiento asinttico de Pn
Para E finito:
Si Pn converge trmino a trmino a M, = 0 M es ley lmite
Si = lim n entonces es vector de probabilidad: puede no ser cierto en el
caso infinito

pgina 18

Cadenas de Markov

Evaluacin de Performance

CMTD Distribucin Lmite

Ejemplo anterior (cadena sencilla): nica distribucin lmite
Ejemplo ratn: hay distribucin lmite pero depende 0:
Puedo terminar en =[0 0 0 0 1 0] o =[0 0 0 0 0 1]

Otro ejemplo:

no existe lim Pn :

pero s existe ley lmite para 0 = (1/2 1/2)

Entonces bajo qu condiciones se puede asegurar que
exista y que sea nica? Y en ese caso cmo se calcula?
pgina 19

Cadenas de Markov

Evaluacin de Performance

Clasificacin de Estados
Comunicacin entre dos estados (ij)
Los estados i y j se comunican si existen m y n
positivos tales que pij(m) > 0 y pji(n) > 0
Es decir, existe un recorrido que va de i a j en el
grafo asociado y visceversa
Ejemplo del laberinto:
3 2
5 y 6 no se comunican con
el resto
La comunicacin es una relacin
de equivalencia
Si existe una nica clase (todos se comunican entre
s), la cadena se dice irreducible
pgina 20

Cadenas de Markov

Evaluacin de Performance

Periodicidad
Sea d(i)=mcd{n: pii(n)>0} . El estado i es
peridico de perodo d(i) sii d(i)>1; en caso
contrario se dice que es aperidico
Ejemplos:
Se

vuelve al estado despus de 2, 4, 6, pasos,

1
entonces es peridico de perodo 2
2

En

el laberinto son todos aperidicos

Si pii>0, entonces i es aperidico

La periodicidad tambin es propia de la clase

pgina 21

Cadenas de Markov

Evaluacin de Performance

Recurrencia
Sea fiin (o fn(i)) la probabilidad de, saliendo del
estado i, volver a i por primera vez en n pasos
La probabilidad fii de volver al estado i en
tiempo finito es:

El estado j es recurrente sii fii =1

El estado i es transitorio sii fii<1

hay probabilidad no nula de nunca volver al estado i

Los estados transitorios son aperidicos

pgina 22

Cadenas de Markov

Evaluacin de Performance

Recurrencia
Si el espacio de estados es finito, siempre
existe al menos un estado recurrente
Si el espacio de estados es infinito, puede no
haber estados recurrentes (e.g. pi,i+1=1)
En trminos de las transiciones, un estado es
recurrente sii pii(n)=
Si j es transitorio pij(n)< para todo i y
entonces

pgina 23

Cadenas de Markov

Evaluacin de Performance

Recurrencia Positiva o Nula

Sea M(i) el tiempo medio de retorno al estado:

Si M(i)= el estado se denomina recurrente nulo

Si M(i)< el estado se denomina recurrente
positivo

La recurrencia es propia de la clase (usando la

caracterizacin anterior)

Por ejemplo, en una cadena irreducible, si un estado

es recurrente positivo, todos los estados lo sern

Este valor est relacionado con la distribucin

lmite
pgina 24

Cadenas de Markov

Evaluacin de Performance

CMTD Irreducible y Aperidica

Se da nicamente una de tres posibilidades:
1. Es transitoria:

2. Es recurrente nula:

3. Es recurrente positiva:

pgina 25

Obs: Si E es finito, siempre estoy en el caso 3.

Cadenas de Markov

Evaluacin de Performance

Ergodicidad
Una cadena es ergdica si existe un nico vector de
probabilidad tal que cualquiera sea la ley inicial 0
se cumple que:

Una cadena irreducible es ergdica sii todos sus

estados son:
Recurrentes positivos
Aperidicos
Por ser irreducible basta verificar las condiciones en
un solo estado
pgina 26

Cadenas de Markov

Evaluacin de Performance

Ergodicidad
En una cadena ergdica, la porcin de tiempo
que la cadena est en el estado i es (i)
Adems, tiene la siguiente relacin con el
tiempo medio de retorno M(i)

Intuicin: Cada vez que salgo del estado i vuelvo en

M(i) instantes => estoy 1 de cada M(i) instantes en
i

pgina 27

Cadenas de Markov

Evaluacin de Performance

Ergodicidad Caso E Finito

Si el espacio de estados E es finito entonces las
siguientes son condiciones necesarias y suficientes
X es ergdica con distribucin lmite sii

X es ergdica sii =1 es valor propio dominante de P con

multiplicidad 1 (y adems el vector propio asociado es )

Se puede probar tomando en cuenta que por la ecuacin anterior,

debe cumplir

Una manera de calcular es resolviendo la ecuacin

anterior junto a la normalizacin (i)=1
pgina 28

Cadenas de Markov

Evaluacin de Performance

Ecuaciones de Balance
Si es la distribucin lmite entonces es
invariante:
Adems:
Multiplicando las dos ecuaciones y eliminando
el trmino repetido obtenemos:

pgina 29

Cadenas de Markov

Evaluacin de Performance

Ecuaciones de Balance

Todo lo que sale (pesado por la probabilidad de

estar ah) es igual a lo que entra (tambin
pesado por la probabilidad de estar ah)
pgina 30

Cadenas de Markov

Evaluacin de Performance

Ecuaciones de Balance
Las ecuaciones de balance se pueden
extender a conjuntos S de estados
Se toma la ecuacin

Se suma en los estados pertenecientes a S

Y cancelando los trminos repetidos resulta:

pgina 31

Cadenas de Markov

Evaluacin de Performance

Ecuaciones de Balance

Es una ecuacin sumamente til para encontrar

la distribucin estacionaria
Escribimos

todas las (i) en funcin de un (j) en

particular, y luego normalizamos

pgina 32

Cadenas de Markov

Evaluacin de Performance

Bibliografa
Esto no fue ms que un vistazo a las cadenas
de Markov en tiempo discreto. Por ms info
consultar la web del curso y/o el siguiente
material:

Introduccin a la Investigacin de Operaciones (INCOFING). http://www.fing.edu.uy/inco/cursos/io/material

Teora de Probabilidad de Valentn Petrov y Ernesto
Mordecki, editorial DIRAC Facultad de Ciencias,
2008.
K. L. Chung. Markov chains with stationary transition
probabilities. Springer, 1960-67.
P. Brmaud. Markov chains. Springer, 1999.
S. Resnick. Adventures in stochastic processes.
Birkhuser, 1994.
W. Feller. Introduccin a la teora de probabilidades y
sus aplicaciones. Vol 1. Limusa, 1986.

pgina 33

Cadenas de Markov

Evaluacin de Performance