You are on page 1of 38

Procesos semimarkovianos

Cadenas de Markov en tiempo continuo


PROCESOS SEMIMARKOVIANOS
Se ha venido suponiendo que el parmetro t del tiempo es
discreto (es decir t = 0, 1, . . . ). Tal suposicin es
adecuada para muchos problemas, pero existen ciertos
casos (como en algunos modelos de lneas de espera) en
los que se requiere un parmetro de tiempo continuo,
debido a que el proceso se est observando de manera
continua a travs del tiempo.
Estados posibles
del sistema : 0, 1, . . . , M
. .
los estados son discretos
Tiempo : t
..
parmetro continuo
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
El cambio de estados en un proceso semimarkoviano
sucede de la misma manera como en la Cadena de
Markov;
pero la cantidad de tiempo entre cambios es una variable
aleatoria.
Es decir, consideremos un proceso estocstico con los
estados 0, 1, . . . tal que si el estado presente es i ,
entonces
(i) el estado siguiente ser j con la probabilidad P
ij
;
(ii) dado que el siguiente estado es j , el tiempo de la
transicion de i a j tiene distribucin F
ij
.
Si denotemos por Z(t ) el estado de tal proceso en el
momento t , entonces {Z(t ), t 0} es un proceso
semimarkoviano.
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Est claro que una cadena de Markov es un proceso
semimarkoviano con
F
ij
(t ) =
_
0 si t < 1
1 si t 1.
Es decir, los tiempos entre las transiciones son iguales a 1.
Sea H
i
la distribucin de tiempo que el proceso
semimarkoviano pasa en el estado i antes de hacer la
transicin en otro estado. Entonces:
H
i
(t ) =

j
P
ij
F
ij
(t ).
Denotemos por
i
la media de este tiempo, es decir,

i
=
_

0
x dH
i
(x).
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Si X
n
es el n-simo estado visitado por el proceso
entonces {X
n
, n 0} es una cadena de Markov con las
probabilidades de transicin P
ij
.
{X
n
} se llama cadena de Markov incrustada
(embedded) del proceso semimarkoviano
Decimos que el proceso semimarkoviano es irreducible si
la cadena de Markov incrustada es irreducible.
Sea T
ii
el tiempo entre transiciones sucesivas al estado i y
sea

ii
= E[T
ii
].
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Bajo ciertas condiciones (anlogas a las de las cadenas
de Markov en tiempo discreto) existe la probabilidad lmite
P
i
lim
t
P{Z(t ) = i | Z(0) = j }
que no depende del estado inicial.
Adems,
P
i
=

i

ii
.
Podemos observar que P
i
es la proporcin de tiempo (en
largo plazo ) que el proceso est en el estado i .
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Consideremos la cadena de Markov incrustada
{X
n
, n 0}.
Supondremos que es irreducible y recurrente positiva, lo
que signica que las probabilidades estacionarias

j
, j 0, son la nica solucin de l sistema de
ecuaciones:

j
=

i
P
ij
,

j
= 1.
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Sabemos que
j
podemos interpretar como la proporcin
(de veces) del proceso {X
n
} en el estado j .
Por eso intuitivamente parece razonable que los
probabilidades lmites sern proporcionales a
j

j
:
Teorema. Supondremos que adems de las
suposiciones de la proposicin anterior la cadena de
Markov incrustada {X
n
, n 0} es recurrente positiva.
Entonces:
P
i
=

i

j

j

j
.
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Ejemplo.
Consideremos una maquina que puede ser en tres
condiciones:
buena,
bastante buena,
averiada.
La mquina en la buena condicin puede quedarse en
este estado en promedio el tiempo
1
y pasar a las
condiciones bastante buena y averiada con las
probabilidades, respectivamente,
3
4
y
1
4
.
Una mquina en la condicin bastante buena se queda en
este estado un tiempo
2
, en promedio, y despus se
descompone.
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Una mquina averiada ser reparada, lo que toma en
promedio
3
de tiempo, despus pasa a la condicin
buena con probabilidad
2
3
o pasa a la condicin bastante
buena con probabilidad
1
3
.
Cual es proporcin del tiempo que la mquina pasa en
cada estado?
Solucin.
Denotando los estados por los nmeros 1, 2, 3,
obtenemos que las probabilidades estacionarias
1
,
2
,
3
satisfacen el sistema de ecuaciones:

1
+
2
+
3
= 1,

1
=
2
3

3
,
2
=
3
4

1
+
1
3

3

3
=
1
4

1
+
2
.
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
La solucin:

1
=
4
15
,
2
=
1
3
,
3
=
2
5
.
Entonces, la proporcin de tiempo que la mquina pasa en
el estado i , P
i
, est dada por:
P
1
=
4
1
4
1
+5
2
+6
3
,
P
2
=
5
2
4
1
+5
2
+6
3
,
P
3
=
6
2
4
1
+5
2
+6
3
.
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Tiempo entre las transiciones
Ecuacion de Chapman- Kolmogorov
Ecuaciones de balance
Procesos de nacimiento y muerte
Ejemplo de Cola
Ejemplo de Cola
CADENAS DE MARKOV EN TIEMPO CONTINUO
Sean:
r tiempo pasado,
s tiempo presente,
s +t t unidades al futuro a partir del tiempo presente.
El sistema se observa en los tiempos r y s, y sus
respectivos estados son

X(s) = i X(r ) = x(r )
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Tiempo entre las transiciones
Ecuacion de Chapman- Kolmogorov
Ecuaciones de balance
Procesos de nacimiento y muerte
Ejemplo de Cola
Ejemplo de Cola
Un proceso estocstico de tiempo continuo tiene la
propiedad Markoviana si
P{X(s +t ) = j | X(s) = i , X(r ) = x(r )}
= P{X(s +t ) = j | X(s) = i }
para toda r 0, s > r y t > 0.
P{X(s +t ) = j | X(s) = i } : probabilidad de transicin
es igual que en eventos discretos.
Si las probabilidades de transicin son independientes de
s, de manera que
P{X(s+t ) = j | X(s) = i } = P{X(t ) = j | X(0) = i } P
ij
(t ),
para toda s > 0, se llaman probabilidades de transicin
estacionarias.
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Tiempo entre las transiciones
Ecuacion de Chapman- Kolmogorov
Ecuaciones de balance
Procesos de nacimiento y muerte
Ejemplo de Cola
Ejemplo de Cola
Ms adelante vamos a considerar slo las cadenas de
Markov con probabilidades de transicin estacionarias.
Tambin llamamos tal cadena homognea.
Si la cadena es homognea entonces le corresponde la
matriz de transicin:
P(t ) =
_
_
_
_
_
_
_
_
P
11
(t ) P
12
(t ) P
1j
(t )
P
21
(t ) P
22
(t ) P
2j
(t )
.
.
.
.
.
.
.
.
.
P
i 1
(t ) P
i 2
(t ) P
ij
(t )
.
.
.
.
.
.
.
.
.
_
_
_
_
_
_
_
_
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Tiempo entre las transiciones
Ecuacion de Chapman- Kolmogorov
Ecuaciones de balance
Procesos de nacimiento y muerte
Ejemplo de Cola
Ejemplo de Cola
Se supone que
lim
t 0
P
ij
(t ) =
_
1 si i = j
0 si i = j
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Tiempo entre las transiciones
Ecuacion de Chapman- Kolmogorov
Ecuaciones de balance
Procesos de nacimiento y muerte
Ejemplo de Cola
Ejemplo de Cola
Sea la variable aleatoria
i
: el tiempo que pasa cada vez
que el proceso est en un estado i antes de ir a otro
estado diferente.
Si el proceso entra en i en el tiempo s, entonces para
t > 0, se observa que

i
> t si y slo si X(

t ) = i para

t tal que s

t s+t .
Por tanto la propiedad Markoviana con probabilidades de
transicin estacionarias
P{X(s +t ) = j | X(s) = i } = P{X(t ) = j | X(0) = i }
implica que
P{
i
> t +s |
i
> s} = P{
i
> t }.
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Tiempo entre las transiciones
Ecuacion de Chapman- Kolmogorov
Ecuaciones de balance
Procesos de nacimiento y muerte
Ejemplo de Cola
Ejemplo de Cola
Ejercicio.
Supongamos que una cadena de Markov en tiempo
continuo entra en el estado i en cierto instante y no lo
abandona en los 10 minutos siguientes.
Cul es la probabilidad de que no abandone el estado i
durante los 5 minutos siguientes?
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Tiempo entre las transiciones
Ecuacion de Chapman- Kolmogorov
Ecuaciones de balance
Procesos de nacimiento y muerte
Ejemplo de Cola
Ejemplo de Cola
Esta propiedad de la variable aleatoria T
i
se conoce como
la falta de memoria.
Se expresa diciendo que
la distribucin del tiempo que falta para que el proceso
haga una transicin fuera de un estado dado, es la misma
independientemente de cunto tiempo haya pasado.
Existe slo una distribucin continua con esta propiedad:
la exponencial.
Est denida por
P{
i
> t } = e
v
i
t
para t 0, con la media
1
v
i
.
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Tiempo entre las transiciones
Ecuacion de Chapman- Kolmogorov
Ecuaciones de balance
Procesos de nacimiento y muerte
Ejemplo de Cola
Ejemplo de Cola
Sea P
ij
la probabilidad de pasar de un estado i a otro
distinto j (sin considerar el tiempo) para la cadena
incrustada.
Entonces P
ii
= 0 y

j 0
P
ij
= 1 para todo i .
Recordemos:
P
ij
(t ) =: P{X(t ) = j | X(0) = i },
P
ij
=: P{pasar a j | estando en i }.
Denamos:
q
i
=: tasa de transicin hacia fuera del estado i por
unidad de tiempo que pasa en i ,
q
ij
=: tasa de transicin del estado i al j por unidad de
tiempo que pasa en i .
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Tiempo entre las transiciones
Ecuacion de Chapman- Kolmogorov
Ecuaciones de balance
Procesos de nacimiento y muerte
Ejemplo de Cola
Ejemplo de Cola
q
i
= lim
t 0
P
{i a cualquier otro estado =i }
t
= lim
t 0
1 P
ii
(t )
t
= lim
t 0
(P
ii
(t ) 1)
t
= lim
t 0
P
ii
(0 +t ) P
ii
(0)
t
=
dP
ii
(0)
dt
.
Entonces, para i = 1, 2, . . .
q
i
=
dP
ii
(0)
dt
.
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Tiempo entre las transiciones
Ecuacion de Chapman- Kolmogorov
Ecuaciones de balance
Procesos de nacimiento y muerte
Ejemplo de Cola
Ejemplo de Cola
q
ij
= lim
t 0
P
ij
(t )
t
= lim
t 0
P
ij
(0 +t ) 0
t
lim
t 0
P
ij
(0 +t ) P
ij
(0)
t
=
dP
ij
(0)
dt
.
Entonces, para toda j = i ,
q
ij
=
dP
ij
(0)
dt
.
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Tiempo entre las transiciones
Ecuacion de Chapman- Kolmogorov
Ecuaciones de balance
Procesos de nacimiento y muerte
Ejemplo de Cola
Ejemplo de Cola
Est claro que
q
i
=

i =j
q
ij
, y adems
q
ij
= q
i
P
ij
para todo i = j .
q
ij
es positivo porque la probabilidad de cambiar de estado
aumenta con t .
Denamos:
q
ii
:= q
i
.
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Tiempo entre las transiciones
Ecuacion de Chapman- Kolmogorov
Ecuaciones de balance
Procesos de nacimiento y muerte
Ejemplo de Cola
Ejemplo de Cola
Se dene la matriz generadora de tasas de transicin
(transition rate matrix o generador innitesimal):
Q =
_
_
_
_
_
_
_
_
q
11
q
12
q
1j

q
21
q
22
q
2j

.
.
.
.
.
.
.
.
.
q
i 1
q
i 2
q
ij

.
.
.
.
.
.
.
.
.
_
_
_
_
_
_
_
_
Todas la las de Q cumplen que sus elementos suman 0.
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Tiempo entre las transiciones
Ecuacion de Chapman- Kolmogorov
Ecuaciones de balance
Procesos de nacimiento y muerte
Ejemplo de Cola
Ejemplo de Cola
Lema. Para todos s, t ,
P
ij
(t +s) =

k=0
P
ik
(t )P
kj
(s)
(ecuacin de Chapman- Kolmogorov para cadena de
Markov en tiempo continuo.)
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Tiempo entre las transiciones
Ecuacion de Chapman- Kolmogorov
Ecuaciones de balance
Procesos de nacimiento y muerte
Ejemplo de Cola
Ejemplo de Cola
Recordemos que bajo las ciertas condiciones existe el
lmite:
lim
t
P
ij
(t ) = P
j
,
donde P
i
podemos interpretar como la proporcin de
tiempo (en largo plazo ) que el proceso est en el estado i .
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Tiempo entre las transiciones
Ecuacion de Chapman- Kolmogorov
Ecuaciones de balance
Procesos de nacimiento y muerte
Ejemplo de Cola
Ejemplo de Cola
Ecuaciones de balance:
P
j
q
j
=

i
P
i
q
ij
para todo j = 1, 2, . . . ;

j
P
j
= 1.
Lo que signica:
Tasa de salidas de un estado =
Tasa de entradas a ese estado.
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Tiempo entre las transiciones
Ecuacion de Chapman- Kolmogorov
Ecuaciones de balance
Procesos de nacimiento y muerte
Ejemplo de Cola
Ejemplo de Cola
Ejemplo.
Un taller opera con 2 mquinas idnticas: M
1
y M
2
que operan continuamente excepto cuando se
descomponen.
El tiempo requerido para reparar una mquina tiene
distribucin exponencial con media 1/2 de da.
Cuando se termina la reparacin, el tiempo que transcurre
hasta la siguiente descompostura se distribuye
exponencialmente con media 1 da.
Nota: Las distribuciones son independientes.
Denamos la variable aleatoria X(t ): nmero de
mquinas descompuestas en el tiempo t (los valores
posibles de X(t ) son 0,1,2).
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Tiempo entre las transiciones
Ecuacion de Chapman- Kolmogorov
Ecuaciones de balance
Procesos de nacimiento y muerte
Ejemplo de Cola
Ejemplo de Cola
Cuando corremos el parmetro t de manera continua
desde el tiempo cero, podemos hallar la evolucin en el
tiempo del nmero de mquinas descompuestas:
cadena de Markov de tiempo continuo {X(t ); t 0},
porque el tiempo de reparacin y el tiempo hasta la
siguiente descompostura tienen distribucin exponencial.
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Tiempo entre las transiciones
Ecuacion de Chapman- Kolmogorov
Ecuaciones de balance
Procesos de nacimiento y muerte
Ejemplo de Cola
Ejemplo de Cola
Podemos usar las probabilidades estacionarias para hallar
la distribucin de probabilidad para el nmero de
mquinas descompuestas.
Debemos hallar para i , j = 0, 1, 2 :
q
i
(tasa de transicin hacia fuera del estado i por unidad
de tiempo que pasa en i ),
q
ij
(tasa de transicin del estado i al j por unidad de tiempo
que pasa en i ).
El estado (nmero de mquinas descompuestas)

Aumenta en 1 cuando Disminuye en 1 cuando
ocurre una descompostura hay una reparacin
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Tiempo entre las transiciones
Ecuacion de Chapman- Kolmogorov
Ecuaciones de balance
Procesos de nacimiento y muerte
Ejemplo de Cola
Ejemplo de Cola
Como las descomposturas y las reparaciones ocurren una
a la vez,
q
02
= 0, q
20
= 0.
El tiempo esperado de reparacin es 1/2 de da =
la tasa a la que se terminan las reparaciones (cuando hay
mquinas descompuestas) es 2 mquinas por da:
q
21
= 2, q
10
= 2.
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Tiempo entre las transiciones
Ecuacion de Chapman- Kolmogorov
Ecuaciones de balance
Procesos de nacimiento y muerte
Ejemplo de Cola
Ejemplo de Cola
El tiempo esperado hasta que se descompone una
mquina es 1 da =
la tasa a la que se descomponen las mquinas (cuando
est operando) es 1 por da:
q
12
= 1.
Durante los tiempos en que las dos mquinas operan, las
descomposturas ocurren a una tasa de 1 +1 = 2 por da:
q
01
= 2.
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Tiempo entre las transiciones
Ecuacion de Chapman- Kolmogorov
Ecuaciones de balance
Procesos de nacimiento y muerte
Ejemplo de Cola
Ejemplo de Cola
Estas tasas de transicin se pueden usar para calcular la
tasa de transicin total hacia fuera del estado:
q
0
= q
01
= 2,
q
1
= q
10
+q
12
= 3,
q
2
= q
21
= 2.
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Tiempo entre las transiciones
Ecuacion de Chapman- Kolmogorov
Ecuaciones de balance
Procesos de nacimiento y muerte
Ejemplo de Cola
Ejemplo de Cola
Ahora podemos obtener ecuaciones de balance:
tasa de salidas de un estado = tasa de entradas a ese
estado.
2P
0
= 2P
1
(para el estado 0)
3P
1
= 2P
0
+2P
2
(para el estado 1)
2P
2
= P
1
(para el estado 2)
P
0
+P
1
+P
2
= 1 (Suma de probabilidades)
Cualquiera de estas ecuaciones se puede eliminar como
redundante y obtendremos:
(P
0
, P
1
, P
2
) =
_
2
5
,
2
5
,
1
5
_
.
Ambas mquinas estarn descompuestas
simultneamente el 20% del tiempo y una mquina estar
descompuesta el 40%. Las dos estarn buenas el 40% de
tiempo.
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Tiempo entre las transiciones
Ecuacion de Chapman- Kolmogorov
Ecuaciones de balance
Procesos de nacimiento y muerte
Ejemplo de Cola
Ejemplo de Cola
Consideremos la cadena a tiempo continuo con espacio
de estados {0, 1, . . . } con
q
ij
=
_

i
para j = i +1

i
para j = i 1
0 para |j i | > 1
El proceso se denomina de nacimiento y muerte.

n
representa la tasa de nacimiento,

n
representa la tasa de muerte cuando hay n individuos.
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Tiempo entre las transiciones
Ecuacion de Chapman- Kolmogorov
Ecuaciones de balance
Procesos de nacimiento y muerte
Ejemplo de Cola
Ejemplo de Cola
Las ecuaciones de balance del proceso de nacimiento y
muerte son
P
n1

n1
= P
n

n
para n 1.
Usando recurrencia se obtiene
P
n
=

n1

n2
. . .
0

n1
. . .
1
P
0
.
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Tiempo entre las transiciones
Ecuacion de Chapman- Kolmogorov
Ecuaciones de balance
Procesos de nacimiento y muerte
Ejemplo de Cola
Ejemplo de Cola
M/M/1.
Es la cola en un sistema con un solo servidor.
Tiempos entre llegadas son v.as exponenciales con tasa
.
Tiempos de servicio son, tambin, exponenciales con tasa
.
Corresponde a un proceso de nacimiento y muerte con

n
= ,

n
= .
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Tiempo entre las transiciones
Ecuacion de Chapman- Kolmogorov
Ecuaciones de balance
Procesos de nacimiento y muerte
Ejemplo de Cola
Ejemplo de Cola
M/M/1.
Llamamos la tasa de trco a
= / < 1.
Su distribucin estacionaria es la distribucin geomtrica
desplazada:
P
n
= (1 )
n
para n 0.
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Tiempo entre las transiciones
Ecuacion de Chapman- Kolmogorov
Ecuaciones de balance
Procesos de nacimiento y muerte
Ejemplo de Cola
Ejemplo de Cola
M/M/s.
Es el mismo caso que antes pero con s servidores.
Es el proceso de nacimiento y muerte con

n
= ,

n
=
_
n si 1 n s
s si n > s
Procesos semimarkovianos
Cadenas de Markov en tiempo continuo
Tiempo entre las transiciones
Ecuacion de Chapman- Kolmogorov
Ecuaciones de balance
Procesos de nacimiento y muerte
Ejemplo de Cola
Ejemplo de Cola
M/M/s.
Si < s la cola tiene una distribucin estacionaria que
satisface
P
s+n
=
_

s
_
n+1
P
s1
.