Procesos Semimarkovianos: Cadenas de Markov en Tiempo Continuo

Procesos semimarkovianos
Cadenas de Markov en tiempo continuo

PROCESOS SEMIMARKOVIANOS
Se ha venido suponiendo que el parmetro t del tiempo es
discreto (es decir t = 0, 1, . . . ). Tal suposicin es
adecuada para muchos problemas, pero existen ciertos
casos (como en algunos modelos de lneas de espera) en
los que se requiere un parmetro de tiempo continuo,
debido a que el proceso se est observando de manera
continua a travs del tiempo.
Estados posibles
del sistema : 0, 1, . . . , M
. .
los estados son discretos
Tiempo : t
..
parmetro continuo
El cambio de estados en un proceso semimarkoviano
sucede de la misma manera como en la Cadena de
Markov;
pero la cantidad de tiempo entre cambios es una variable
aleatoria.
Es decir, consideremos un proceso estocstico con los
estados 0, 1, . . . tal que si el estado presente es i ,
entonces
(i) el estado siguiente ser j con la probabilidad P
ij
;
(ii) dado que el siguiente estado es j , el tiempo de la
transicion de i a j tiene distribucin F
ij
.
Si denotemos por Z(t ) el estado de tal proceso en el
momento t , entonces {Z(t ), t 0} es un proceso
semimarkoviano.
Est claro que una cadena de Markov es un proceso
semimarkoviano con
F
ij
(t ) =
_
0 si t < 1
1 si t 1.
Es decir, los tiempos entre las transiciones son iguales a 1.
Sea H
i
la distribucin de tiempo que el proceso
semimarkoviano pasa en el estado i antes de hacer la
transicin en otro estado. Entonces:
H
i
(t ) =
j
P
ij
F
ij
(t ).
Denotemos por
i
la media de este tiempo, es decir,
i
=
_

0
x dH
i
(x).
Si X
n
es el n-simo estado visitado por el proceso
entonces {X
n
, n 0} es una cadena de Markov con las
probabilidades de transicin P
ij
.
{X
n
} se llama cadena de Markov incrustada
(embedded) del proceso semimarkoviano
Decimos que el proceso semimarkoviano es irreducible si
la cadena de Markov incrustada es irreducible.
Sea T
ii
el tiempo entre transiciones sucesivas al estado i y
sea
ii
= E[T
ii
].
Bajo ciertas condiciones (anlogas a las de las cadenas
de Markov en tiempo discreto) existe la probabilidad lmite
P
i
lim
t
P{Z(t ) = i | Z(0) = j }
que no depende del estado inicial.
Adems,
P
i
=

i
ii
.
Podemos observar que P
i
es la proporcin de tiempo (en
largo plazo ) que el proceso est en el estado i .
Consideremos la cadena de Markov incrustada
{X
n
, n 0}.
Supondremos que es irreducible y recurrente positiva, lo
que signica que las probabilidades estacionarias
j
, j 0, son la nica solucin de l sistema de
ecuaciones:
j
=
i
P
ij
,
j
= 1.
Sabemos que
j
podemos interpretar como la proporcin
(de veces) del proceso {X
n
} en el estado j .
Por eso intuitivamente parece razonable que los
probabilidades lmites sern proporcionales a
j
j
:
Teorema. Supondremos que adems de las
suposiciones de la proposicin anterior la cadena de
Markov incrustada {X
n
, n 0} es recurrente positiva.
Entonces:
P
i
=

i
j

j
j
.
Ejemplo.
Consideremos una maquina que puede ser en tres
condiciones:
buena,
bastante buena,
averiada.
La mquina en la buena condicin puede quedarse en
este estado en promedio el tiempo
1
y pasar a las
condiciones bastante buena y averiada con las
probabilidades, respectivamente,
3
4
y
1
4
.
Una mquina en la condicin bastante buena se queda en
este estado un tiempo
2
, en promedio, y despus se
descompone.
Una mquina averiada ser reparada, lo que toma en
promedio
3
de tiempo, despus pasa a la condicin
buena con probabilidad
2
3
o pasa a la condicin bastante
buena con probabilidad
1
3
.
Cual es proporcin del tiempo que la mquina pasa en
cada estado?
Solucin.
Denotando los estados por los nmeros 1, 2, 3,
obtenemos que las probabilidades estacionarias
1
,
2
,
3
satisfacen el sistema de ecuaciones:
1
+
2
+
3
= 1,
1
=
2
3
3
,
2
=
3
4
1
+
1
3
3

3
=
1
4
1
+
2
.
La solucin:
1
=
4
15
,
2
=
1
3
,
3
=
2
5
.
Entonces, la proporcin de tiempo que la mquina pasa en
el estado i , P
i
, est dada por:
P
1
=
4
1
4
1
+5
2
+6
3
,
P
2
=
5
2
4
1
+5
2
+6
3
,
P
3
=
6
2
4
1
+5
2
+6
3
.
Tiempo entre las transiciones
Ecuacion de Chapman- Kolmogorov
Ecuaciones de balance
Procesos de nacimiento y muerte
Ejemplo de Cola
Ejemplo de Cola
CADENAS DE MARKOV EN TIEMPO CONTINUO
Sean:
r tiempo pasado,
s tiempo presente,
s +t t unidades al futuro a partir del tiempo presente.
El sistema se observa en los tiempos r y s, y sus
respectivos estados son

X(s) = i X(r ) = x(r )
Ejemplo de Cola
Ejemplo de Cola
Un proceso estocstico de tiempo continuo tiene la
propiedad Markoviana si
P{X(s +t ) = j | X(s) = i , X(r ) = x(r )}
= P{X(s +t ) = j | X(s) = i }
para toda r 0, s > r y t > 0.
P{X(s +t ) = j | X(s) = i } : probabilidad de transicin
es igual que en eventos discretos.
Si las probabilidades de transicin son independientes de
s, de manera que
P{X(s+t ) = j | X(s) = i } = P{X(t ) = j | X(0) = i } P
ij
(t ),
para toda s > 0, se llaman probabilidades de transicin
estacionarias.
Ejemplo de Cola
Ejemplo de Cola
Ms adelante vamos a considerar slo las cadenas de
Markov con probabilidades de transicin estacionarias.
Tambin llamamos tal cadena homognea.
Si la cadena es homognea entonces le corresponde la
matriz de transicin:
P(t ) =
_
_
_
_
_
_
_
_
P
11
(t ) P
12
(t ) P
1j
(t )
P
21
(t ) P
22
(t ) P
2j
(t )
.
.
.
.
.
.
.
.
.
P
i 1
(t ) P
i 2
(t ) P
ij
(t )
.
.
.
.
.
.
.
.
.
_
_
_
_
_
_
_
_
Ejemplo de Cola
Ejemplo de Cola
Se supone que
lim
t 0
P
ij
(t ) =
_
1 si i = j
0 si i = j
Ejemplo de Cola
Ejemplo de Cola
Sea la variable aleatoria
i
: el tiempo que pasa cada vez
que el proceso est en un estado i antes de ir a otro
estado diferente.
Si el proceso entra en i en el tiempo s, entonces para
t > 0, se observa que
i
> t si y slo si X(
t ) = i para

t tal que s
t s+t .
Por tanto la propiedad Markoviana con probabilidades de
transicin estacionarias
P{X(s +t ) = j | X(s) = i } = P{X(t ) = j | X(0) = i }
implica que
P{
i
> t +s |
i
> s} = P{
i
> t }.
Ejemplo de Cola
Ejemplo de Cola
Ejercicio.
Supongamos que una cadena de Markov en tiempo
continuo entra en el estado i en cierto instante y no lo
abandona en los 10 minutos siguientes.
Cul es la probabilidad de que no abandone el estado i
durante los 5 minutos siguientes?
Ejemplo de Cola
Ejemplo de Cola
Esta propiedad de la variable aleatoria T
i
se conoce como
la falta de memoria.
Se expresa diciendo que
la distribucin del tiempo que falta para que el proceso
haga una transicin fuera de un estado dado, es la misma
independientemente de cunto tiempo haya pasado.
Existe slo una distribucin continua con esta propiedad:
la exponencial.
Est denida por
P{
i
> t } = e
v
i
t
para t 0, con la media
1
v
i
.
Ejemplo de Cola
Ejemplo de Cola
Sea P
ij
la probabilidad de pasar de un estado i a otro
distinto j (sin considerar el tiempo) para la cadena
incrustada.
Entonces P
ii
= 0 y
j 0
P
ij
= 1 para todo i .
Recordemos:
P
ij
(t ) =: P{X(t ) = j | X(0) = i },
P
ij
=: P{pasar a j | estando en i }.
Denamos:
q
i
=: tasa de transicin hacia fuera del estado i por
unidad de tiempo que pasa en i ,
q
ij
=: tasa de transicin del estado i al j por unidad de
tiempo que pasa en i .
Ejemplo de Cola
Ejemplo de Cola
q
i
= lim
t 0
P
{i a cualquier otro estado =i }
t
= lim
t 0
1 P
ii
(t )
t
= lim
t 0
(P
ii
(t ) 1)
t
= lim
t 0
P
ii
(0 +t ) P
ii
(0)
t
=
dP
ii
(0)
dt
.
Entonces, para i = 1, 2, . . .
q
i
=
dP
ii
(0)
dt
.
Ejemplo de Cola
Ejemplo de Cola
q
ij
= lim
t 0
P
ij
(t )
t
= lim
t 0
P
ij
(0 +t ) 0
t
lim
t 0
P
ij
(0 +t ) P
ij
(0)
t
=
dP
ij
(0)
dt
.
Entonces, para toda j = i ,
q
ij
=
dP
ij
(0)
dt
.
Ejemplo de Cola
Ejemplo de Cola
Est claro que
q
i
=
i =j
q
ij
, y adems
q
ij
= q
i
P
ij
para todo i = j .
q
ij
es positivo porque la probabilidad de cambiar de estado
aumenta con t .
Denamos:
q
ii
:= q
i
.
Ejemplo de Cola
Ejemplo de Cola
Se dene la matriz generadora de tasas de transicin
(transition rate matrix o generador innitesimal):
Q =
_
_
_
_
_
_
_
_
q
11
q
12
q
1j

q
21
q
22
q
2j

.
.
.
.
.
.
.
.
.
q
i 1
q
i 2
q
ij

.
.
.
.
.
.
.
.
.
_
_
_
_
_
_
_
_
Todas la las de Q cumplen que sus elementos suman 0.
Ejemplo de Cola
Ejemplo de Cola
Lema. Para todos s, t ,
P
ij
(t +s) =
k=0
P
ik
(t )P
kj
(s)
(ecuacin de Chapman- Kolmogorov para cadena de
Markov en tiempo continuo.)
Ejemplo de Cola
Ejemplo de Cola
Recordemos que bajo las ciertas condiciones existe el
lmite:
lim
t
P
ij
(t ) = P
j
,
donde P
i
podemos interpretar como la proporcin de
tiempo (en largo plazo ) que el proceso est en el estado i .
Ejemplo de Cola
Ejemplo de Cola
Ecuaciones de balance:
P
j
q
j
=
i
P
i
q
ij
para todo j = 1, 2, . . . ;
j
P
j
= 1.
Lo que signica:
Tasa de salidas de un estado =
Tasa de entradas a ese estado.
Ejemplo de Cola
Ejemplo de Cola
Ejemplo.
Un taller opera con 2 mquinas idnticas: M
1
y M
2
que operan continuamente excepto cuando se
descomponen.
El tiempo requerido para reparar una mquina tiene
distribucin exponencial con media 1/2 de da.
Cuando se termina la reparacin, el tiempo que transcurre
hasta la siguiente descompostura se distribuye
exponencialmente con media 1 da.
Nota: Las distribuciones son independientes.
Denamos la variable aleatoria X(t ): nmero de
mquinas descompuestas en el tiempo t (los valores
posibles de X(t ) son 0,1,2).
Ejemplo de Cola
Ejemplo de Cola
Cuando corremos el parmetro t de manera continua
desde el tiempo cero, podemos hallar la evolucin en el
tiempo del nmero de mquinas descompuestas:
cadena de Markov de tiempo continuo {X(t ); t 0},
porque el tiempo de reparacin y el tiempo hasta la
siguiente descompostura tienen distribucin exponencial.
Ejemplo de Cola
Ejemplo de Cola
Podemos usar las probabilidades estacionarias para hallar
la distribucin de probabilidad para el nmero de
mquinas descompuestas.
Debemos hallar para i , j = 0, 1, 2 :
q
i
(tasa de transicin hacia fuera del estado i por unidad
de tiempo que pasa en i ),
q
ij
(tasa de transicin del estado i al j por unidad de tiempo
que pasa en i ).
El estado (nmero de mquinas descompuestas)

Aumenta en 1 cuando Disminuye en 1 cuando
ocurre una descompostura hay una reparacin
Ejemplo de Cola
Ejemplo de Cola
Como las descomposturas y las reparaciones ocurren una
a la vez,
q
02
= 0, q
20
= 0.
El tiempo esperado de reparacin es 1/2 de da =
la tasa a la que se terminan las reparaciones (cuando hay
mquinas descompuestas) es 2 mquinas por da:
q
21
= 2, q
10
= 2.
Ejemplo de Cola
Ejemplo de Cola
El tiempo esperado hasta que se descompone una
mquina es 1 da =
la tasa a la que se descomponen las mquinas (cuando
est operando) es 1 por da:
q
12
= 1.
Durante los tiempos en que las dos mquinas operan, las
descomposturas ocurren a una tasa de 1 +1 = 2 por da:
q
01
= 2.
Ejemplo de Cola
Ejemplo de Cola
Estas tasas de transicin se pueden usar para calcular la
tasa de transicin total hacia fuera del estado:
q
0
= q
01
= 2,
q
1
= q
10
+q
12
= 3,
q
2
= q
21
= 2.
Ejemplo de Cola
Ejemplo de Cola
Ahora podemos obtener ecuaciones de balance:
tasa de salidas de un estado = tasa de entradas a ese
estado.
2P
0
= 2P
1
(para el estado 0)
3P
1
= 2P
0
+2P
2
(para el estado 1)
2P
2
= P
1
(para el estado 2)
P
0
+P
1
+P
2
= 1 (Suma de probabilidades)
Cualquiera de estas ecuaciones se puede eliminar como
redundante y obtendremos:
(P
0
, P
1
, P
2
) =
_
2
5
,
2
5
,
1
5
_
.
Ambas mquinas estarn descompuestas
simultneamente el 20% del tiempo y una mquina estar
descompuesta el 40%. Las dos estarn buenas el 40% de
tiempo.
Ejemplo de Cola
Ejemplo de Cola
Consideremos la cadena a tiempo continuo con espacio
de estados {0, 1, . . . } con
q
ij
=
_
i
para j = i +1
i
para j = i 1
0 para |j i | > 1
El proceso se denomina de nacimiento y muerte.
n
representa la tasa de nacimiento,
n
representa la tasa de muerte cuando hay n individuos.
Ejemplo de Cola
Ejemplo de Cola
Las ecuaciones de balance del proceso de nacimiento y
muerte son
P
n1
n1
= P
n
n
para n 1.
Usando recurrencia se obtiene
P
n
=

n1
n2
. . .
0
n1
. . .
1
P
0
.
Ejemplo de Cola
Ejemplo de Cola
M/M/1.
Es la cola en un sistema con un solo servidor.
Tiempos entre llegadas son v.as exponenciales con tasa
.
Tiempos de servicio son, tambin, exponenciales con tasa
.
Corresponde a un proceso de nacimiento y muerte con
n
= ,
n
= .
Ejemplo de Cola
Ejemplo de Cola
M/M/1.
Llamamos la tasa de trco a
= / < 1.
Su distribucin estacionaria es la distribucin geomtrica
desplazada:
P
n
= (1 )
n
para n 0.
Ejemplo de Cola
Ejemplo de Cola
M/M/s.
Es el mismo caso que antes pero con s servidores.
Es el proceso de nacimiento y muerte con
n
= ,
n
=
_
n si 1 n s
s si n > s
Ejemplo de Cola
Ejemplo de Cola
M/M/s.
Si < s la cola tiene una distribucin estacionaria que
satisface
P
s+n
=
_

s
_
n+1
P
s1
.

Procesos Semimarkovianos: Cadenas de Markov en Tiempo Continuo

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Procesos Semimarkovianos: Cadenas de Markov en Tiempo Continuo

Uploaded by

Copyright:

Available Formats

Procesos semimarkovianos

Cadenas de Markov en tiempo continuo

You might also like