Professional Documents
Culture Documents
CMTD
SEMANA 5
[ PROGRAMACIN ESTOCSTICA ]
SEMANA
CINCO
LECTURA
UNO:
COMPORTAMIENTO
LMITE
DE
UNA
CMTD
Para
entender
mejor
el
comportamiento
lmite
de
las
Cadenas
de
Markov
en
Tiempo
Discreto,
primero
veremos
ciertas
definiciones
y
propiedades
importantes:
Definicin
0:
un
estado
!
es
accesible
desde
un
estado
!
si
para
algn
! 0,
existe
un
!!" (!) > 0.
Si
un
estado
!
es
accesible
desde
! ,
nosotros
lo
representamos
de
siguiente
manera:
! !
!!! (!) = !
! ! !
Note
que
la
definicin
de
accesibilidad
no
depende
de
la
magnitud
de
!!" (!) .
La
accesibilidad
slo
depende
de
que
!!" (!)
sea
cero,
o
que
sea
diferente
de
cero.
Clasificacin
de
estados
de
una
CMTD
Sea !! , ! 0
un
proceso
estocstico
con
espacio
de
estados
! = {1, 2, 3, 4, 5, 6, 7, 8}como
se
muestra
a
continuacin:
Grfico
1:
Representacin
grfica
de
una
CMTD
1
7
2
4
5
6
3
8
Fuente:
Elaboracin
Propia
Definicin
1:
un
camino
de
!
a
!
es
una
secuencia
de
transiciones,
todas
con
probabilidad
mayor
que
cero,
que
inician
en
!
y
terminan
en
!.
Definicin
Dos:
sean
!
y
!
dos
estados
que
pertenecen
a
!
( !, ! ! ),
se
dice
que
!
y
!
se
comunican
si
existe
un
camino
desde
!
hasta
!
y
existe
un
camino
desde
!
hasta
! .
Si
un
estado
i
se
comunica
con
un
estado
j
lo
representamos
de
la
siguiente
manera:
! !
Ejemplo:
2 3
1 3
Definicin
Tres:
un
subconjunto
! !
es
una
clase
comunicantes
i
Que
ningn
estado
por
fuera
de
!
se
pueda
alcanzar
desde
! .
Ejemplo:
! = {1, 2, 3}
! = {6, 7, 8}
[ POLITCNICO GRANCOLOMBIANO ]
[ PROGRAMACIN ESTOCSTICA ]
!! =
!!
[ POLITCNICO GRANCOLOMBIANO ]
Y
finalmente,
!! = ! !
Es
decir,
que
para
esta
CMTD,
existe
una
distribucin
lmite
con
las
siguientes
probabilidades
de
estado:
! = ! ! , ! ! , ! !
Ejemplo
Dos:
Suponga
que
!! , ! 0
es
una
CMTD
con
espacio
de
estados
! = {1, 2, 3}
y
con
matriz
de
probabilidades
de
transicin
de
un
paso
dada
por:
0
2/3 1/3
0
1/2
= 1/2
0
3/4 1/4
Grfica
2:
Grafo
de
tasas
de
transicin
del
ejemplo
dos
1/3
1/2
2/3
2
1/2
1/4
3/4
Fuente:
ElaboracinPropia
Todos
los
estados
se
comunican
entre
s.
La
cadena
es
una
clase
comunicante
cerrada,
por
lo
tanto
decimos
que
la
cadena
es
irreducible.
Adems,
el
estado
tres
es
aperidico,
luego
la
cadena
es
aperidica.
Cumplidas
las
condiciones,
podemos
afirmar
que
esta
CMTD
es
ergdica.
Luego,
su
distribucin
lmite
existe.
a. Halle
la
proporcin
de
tiempo,
en
estado
estable,
que
la
cadena
gasta
en
el
estado
Dos.
Para
hallar
cualquier
proporcin
o
probabilidad
del
sistema
en
estado
estable,
debemos
calcular
las
ecuaciones
de
balance:
! = !
0
2/3 1/3
0
1/2
[!! , !! , !! ] = !! , !! , !! 1/2
0
3/4 1/4
1
1. !! = 2 !!
2. !! = 2 3 !! + 3 4 !!
3. !! = 1 3 !! + 1 2 !! + 1 4 !!
[ PROGRAMACIN ESTOCSTICA ]
4. !! + !! + !! = 1
Reemplazando
la
ecuacin
1
en
la
ecuacin
2:
!! = 2 3 1 2 !! + 3 4 !!
!! = 8 9 !!
Reemplazando
en
la
ecuacin
4,
obtenemos
la
proporcin
de
tiempo,
en
estado
estable,
que
la
cadena
gasta
en
el
estado
2:
1 ! + ! + 8 ! = 1
!
2 !
9 !
!"
!! =
!"
a. Halle
la
probabilidad,
en
estado
estable,
de
que
la
cadena
est
en
el
estado
tres.
Con
el
valor
de
!! ,
ya
es
posible
calcular
la
probabilidad,
en
estado
estable,
de
que
la
cadena
est
en
el
estado
tres:
!! = 8 9 !! = !! = 8 9 18 43
!! = !" !"
a. Halle
la
probabilidad,
en
estado
estable,
de
que
la
cadena
est
en
el
estado
tres,
dado
que
comenz
en
el
estado
uno.
Si
la
cadena
es
irreducible
y
aperidica,
entonces
se
cumple
que:
!"# !(!! = !|!! = !) = !"# ! !! = ! = !!
!!
!!
!"# !(!! = !|!! = !) = !! = !" !"
!!
Ejemplo
Tres:
A
Laura
le
encanta
el
caf.
Ella
alterna
entre
las
siguientes
3
marcas
de
caf.
Nescaf,
Oma
y
Juan
Valdez,
de
semana
en
semana,
de
acuerdo
con
una
CMTD
como
se
muestra
a
continuacin
en
la
matriz
de
probabilidades
de
transicin:
0.1 0.3 0.6
= 0.1 0.5 0.4
0.3 0.2 0.5
a. Qu
fraccin
del
tiempo,
en
el
largo
plazo,
Laura
consume
de
la
marca
Nescaf?
Para
cualquier
clculo
del
largo
plazo,
calcularemos
la
distribucin
lmite
de
la
CMTD:
! = !
0.1 0.3 0.6
[!! , !! , !! ] = !! , !! , !! 0.1 0.5 0.4
0.3 0.2 0.5
1. !! = 0.1!! + 0.1!! + 0.3!!
2. !! = 0.3!! + 0.5!! + 0.2!!
3. !! = 0.6!! + 0.4!! + 0.5!!
4. !! + !! + !! = 1
Resolviendo
el
sistema
de
ecuaciones
obtenemos
la
siguiente
distribucin:
! = 0.198, 0.314, 0.489
Luego,
en
el
largo
plazo,
Laura
consumir,
el
19.8%
del
tiempo,
caf
de
la
marca
Nescaf.
[ POLITCNICO GRANCOLOMBIANO ]
a. Suponga
que
el
costo
por
libra
de
caf
es
de
$6000,
$8000
y
15000
segn
la
marca,
respectivamente.
Suponga
que
ella
consume
una
libra
de
caf
por
semana
en
el
largo
plazo.
Cul
es
el
valor
esperado
del
costo
por
caf
por
semana?
Como
ya
tenemos
la
distribucin
lmite,
podemos
decir
que
fraccin
del
tiempo,
de
una
semana,
ella
consumir
de
cada
marca
de
caf.
Por
lo
tanto,
a
partir
de
ese
tiempo
y
los
costos
por
marca,
podemos
calcular
un
costo
esperado
para
Laura,
en
el
largo
plazo:
!! !"#$"! = 0.198 $6000 + 0.314 $8000 + 0.489 $15000
= $!!"" + $!"#! + $!"#$ = $!!"#".
[ PROGRAMACIN ESTOCSTICA ]