You are on page 1of 19

FACULDADE DE ECONOMIA

Universidade do Porto

PROCESSOS ESTOCSTICOS

Rui Alves
Catarina Delgado

Setembro de 1997

APRESENTAO

Este texto concretiza uma ideia que j tem alguns anos, mas que vinha sendo
adiada devido a afazeres de diversa natureza.
Dois factos ocorridos no ano lectivo de 1996/97 foram determinantes na concretizao deste projecto: (i) a adopo, nas disciplinas de Investigao Operacional de
ambas as licenciaturas, de um livro (Investigao Operacional, de L. Valadares Tavares
et al., McGraw-Hill, 1996) que, embora cobrindo a matria de Programao Linear e de
Filas de Espera, omisso no que toca Programao Linear Inteira e s Cadeias de
Markov; (ii) a contratao da licenciada Catarina Delgado como assistente estagiria das
referidas disciplinas.
O facto de os alunos disporem de elementos de estudos (no livro adoptado) sobre
alguns pontos do programa tornou mais premente a concluso destes textos com o
objectivo de uma integral cobertura do programa.

A disponibilidade da licenciada

Catarina Delgado foi na realidade crucial (sem o seu trabalho e o seu entusiasmo creio
que os textos no teriam ficado prontos), e o seu contributo justifica plenamente a coautoria que lhe devida, pois a ela se devem a primeira verso dos textos, todos os
exemplos profusamente ilustrados, e a incluso de uma maior variedade de problemas
tpicos de Programao Inteira.
Resta-nos desejar que os alunos, destinatrios ltimos destes trabalhos, deles
possam vir a tirar o desejado proveito. Todas as crticas e sugestes so benvindas,
salvaguardando que todos os erros e imprecises que os textos possam ter so da inteira
responsabilidade dos autores.

Faculdade de Economia do Porto, Setembro de 1997


Prof. Doutor Rui Alves

NDICE

1.

INTRODUO ................................................................................................. 1
1.1. Generalidades ........................................................................................... 1
1.2. Classificao dos Processos Estocsticos .................................................. 1

2.

CADEIAS DE MARKOV EM TEMPO DISCRETO ......................................... 3


2.1. Definio .................................................................................................. 3
2.2. Representao ........................................................................................... 3
2.3. Probabilidades de Transio ...................................................................... 4
2.4. Classificao dos Estados .......................................................................... 6
2.5. Probabilidades Estacionrias ..................................................................... 7
2.6. Tempos de Transio ................................................................................ 9
2.7. Cadeias de Markov com Estados Absorventes ........................................... 9

3.

CADEIAS DE MARKOV EM TEMPO CONTNUO ...................................... 12


3.1. Definio ................................................................................................ 12
3.2. Tempo de Permanncia no Estado ........................................................... 12
3.3. Representao ......................................................................................... 13
3.4. Probabilidades Estacionrias ................................................................... 14

4.

PROCESSOS DE NASCIMENTO-MORTE ................................................... 15


4.1. Generalidades ......................................................................................... 15
4.2. Equaes de Balano .............................................................................. 16

5.

BIBLIOGRAFIA ............................................................................................. 16

1.

INTRODUO

1.1. GENERALIDADES
Qualquer sistema real opera sempre em ambientes onde a incerteza impera, principalmente quando o sistema envolve, pela sua natureza, aces humanas imprevisveis
ou avarias de mquinas. Os modelos determinsticos certamente contribuem para a
compreenso, a um nvel bsico, do comportamento dinmico de um sistema. No entanto, por no poderem lidar com a incerteza, acabam por ser insuficientes nos processos
de tomada de deciso. Assim, recorre-se a Processos Estocsticos como uma forma de
tratar quantitativamente estes fenmenos, aproveitando certas caractersticas de
regularidade que eles apresentam para serem descritos por modelos probabilsticos.
Pode definir-se um Processo Estocstico (em ingls, Stochastic Process ou
Random Process) como um conjunto de variveis aleatrias indexadas a uma varivel
(geralmente a varivel tempo), sendo representado por {X(t), tT}. Estabelecendo o
paralelismo com o caso determinstico, onde uma funo f(t) toma valores bem definidos
ao longo do tempo, um processo estocstico toma valores aleatrios ao longo do tempo.
Aos valores que X(t) pode assumir chamam-se estados e ao seu conjunto X espao de
estados.
Como exemplos de processos estocsticos, poderemos considerar:
1)
2)
3)
4)
5)
6)

X(t) representa o estado de uma mquina (ligada/desligada) no momento t;


X(t) representa o nmero de clientes numa loja no instante t;
X(t) representa o nmero de mquinas avariadas no fim do dia t;
X(t) representa a cotao de uma aco no fim do dia t;
X(t) representa o nvel de stock de um determinado artigo no fim do dia t;
X(t) representa a condio de funcionamento dum componente no instante t.

Como se pode constatar pelos exemplos apresentados, h casos em que o tempo


considerado de forma discreta ( no fim do dia t) e outros em que tomado de modo
contnuo ( no momento t). A varivel tempo , por definio, uma varivel contnua,
a qual pode ser discretizada se os fenmenos forem observados a intervalos regulares.
Outra constatao que se pode fazer que os estados tanto so valores que a varivel
X(t) pode assumir (nmero de clientes, nmero de mquinas, etc) como so estados
(mquina avariada, a funcionar, etc).

1.2. CLASSIFICAO DOS PROCESSOS ESTOCSTICOS


Para classificar os processos estocsticos analisam-se (i) o espao de estados, (ii) a
natureza do conjunto T e (iii) as caractersticas estatsticas das variveis aleatrias que
definem o processo.

(i)

Espao de estados

Se X for um conjunto de estados finito ou contvel (X = {0, 1, 2, }, ou seja, o


conjunto de inteiros no-negativos), X(t) um processo de estados discretos ou, como

usualmente referido, uma cadeia. Para qualquer outro caso, o processo designado
por processo de estados contnuos.
Dos exemplos atrs referidos os trs primeiros so cadeias, enquanto que os
restantes podem ser processos de estados contnuos.

(ii) A varivel temporal


Se o conjunto T, que especifica os valores da varivel t, for finito ou contvel, X(t)
um processo em tempo discreto e a notao usada {X(t) , t = 0, 1, 2, 3, }. Neste
caso, T normalmente o conjunto dos inteiros no-negativos. Em caso contrrio X(t)
designado por processo em tempo contnuo, sendo usada a notao {X(t) , t 0}.
Dos exemplos apresentados, os exemplos 3, 4 e 5 so processos em tempo discreto
uma vez que representam quantidades observadas dia a dia, enquanto que os restantes
so processos estocsticos em tempo contnuo por representarem fenmenos observados
em qualquer momento do tempo.

(iii) Caractersticas estatsticas das variveis aleatrias


Um processo estocstico diz-se estacionrio se o seu comportamento estocstico
for independente do tempo, ou seja, se a funo distribuio da(s) v.a. que o define(m)
no variar no tempo.
Um processo estocstico diz-se Markoviano ou de Markov se for estacionrio e
gozar da propriedade de Markov ou da perda de memria, isto , se o seu comportamento futuro apenas for condicionado pelo estado presente, independentemente do seu
historial ou dos estados visitados no passado. De facto, para um processo de Markov
completamente irrelevante qualquer informao sobre estados passados ou sobre o
tempo de permanncia no estado presente. Num processo estocstico as transies entre
estados so causadas pela ocorrncia de acontecimentos ou eventos, pelo que a varivel
aleatria directamente restringida pela propriedade de ausncia de memria o tempo
entre acontecimentos sucessivos (em ingls interevent time). Dado que, como iremos
ver mais frente, a nica distribuio contnua que apresenta esta propriedade a
distribuio exponencial, num processo de Markov todos os tempos entre acontecimentos sucessivos tm de ser exponencialmente distribudos.
Um processo estocstico de Semi-Markov uma generalizao de um processo de
Markov, j que, para aquele, a informao sobre o tempo de permanncia no estado
actual deixa de ser irrelevante; continua, contudo, a ser irrelevante para o comportamento futuro qualquer informao sobre os estados visitados no passado. A consequncia que os tempos entre acontecimentos sucessivos deixam de estar restringidos
distribuio exponencial, podendo seguir qualquer distribuio de probabilidade.
No nossa inteno abordar aqui todos os tipos de processos estocsticos existentes, mas sim analisar, com algum detalhe, uma pequena parcela, bastante relevante
para o estudo de alguns problemas interessantes, desde problemas de jogos a sistemas de
filas de espera: as Cadeias de Markov (tanto em tempo discreto como em tempo
contnuo) e os Processos de Nascimento-Morte. Apesar da propriedade de Markov nem
2

sempre ter aderncia realidade, os processos de Markov so, de longe, os processos


estocsticos mais utilizados graas sua facilidade de tratamento.
Este texto encontra-se organizado da seguinte forma: no ponto 2 so estudadas
Cadeias de Markov em Tempo Discreto e no ponto 3 as Cadeias de Markov em Tempo
Contnuo. No ponto 4 analisado um caso especial de Processos Estocsticos, os Processos de Nascimento-Morte. Finalmente, no ponto 5 listada a bibliografia consultada
para a elaborao do texto e considerada mais relevante nesta matria.

2.

CADEIAS DE MARKOV EM TEMPO DISCRETO

2.1. DEFINIO
Uma Cadeia de Markov em Tempo Discreto um processo estocstico em que a
varivel t representa intervalos de tempo, {X(t), t = 0, 1, 2, 3, }, e que goza da propriedade de Markov, ou seja, a probabilidade de X(t) estar no estado j no prximo
perodo depende apenas do estado presente e no dos estados visitados em perodos
passados:
Pij = P{X(t+1) = j | X(t) = i, X(t-1) = kt-1, , X(1) = k1, X(0) = k0} =
P{X(t+1) = j | X(t) = i} , t = 0, 1, 2, i, j, k0, k1, ,kt-1 X
No nosso estudo apenas vamos considerar Cadeias de Markov com as seguintes caractersticas:
1)
2)

O espao de estados X finito ou contvel (estados discretos).


As probabilidades de transio entre estados so constantes no tempo
(cadeia de Markov estacionria), ou seja,
Pij = P{X(t+1) = j | X(t) = i} = P{X(1) = j | X(0) = i} , t =0, 1, 2, i, jX

2.2. REPRESENTAO
Uma Cadeia de Markov em tempo discreto fica completamente definida se conhecermos os estados X = {0, 1, 2, , s} e as probabilidades de transio entre os estados em um perodo. Existem duas formas de representao: graficamente, atravs do
diagrama de transies, ou atravs da matriz quadrada P que contem as probabilidades
de transio em um perodo.
Num diagrama de transies cada estado representado por um vrtice, e cada
arco orientado ligando dois vrtices representa uma transio possvel entre dois estados
em um perodo, a qual tem uma certa probabilidade de ocorrncia (o coeficiente
associado ao arco).
Na matriz P, cada linha i representa o estado actual e cada coluna j representa o
estado futuro (a ordem dos estados actuais deve ser igual dos estados futuros, respec3

tivamente, nas linhas e nas colunas de P). Deste modo, o elemento pij da matriz representa a probabilidade de ocorrncia da transio do estado i para o estado j em um
perodo. A matriz P uma matriz estocstica, pois sendo os seus elementos probabilidades, pij 0, e contendo cada linha i uma distribuio de probabilidade, j pij = 1.
Para melhor ilustrar o que foi dito, considere-se o exemplo seguinte.
No pequeno pas Verdscamp'sfloridos, a bebida tradicional, um estranho licor
de flores silvestres, produzida apenas por duas famlias concorrentes, a famlia Florescente e a famlia Petalado. Cada famlia introduziu, ao longo das geraes, diferentes alteraes na frmula original, de forma a conferir ao seu licor um sabor especial. Embora as frmulas sejam guardadas no segredo dos deuses, descobriu-se
que uma poro de ptalas de malmequeres pode realmente fazer a diferena, garantindo famlia Florescente a primazia nas preferncias dos verdscamp'sflorideses.
De facto, verificou-se que, para cada pessoa que compre o licor Florescente h 90%
de probabilidade de o prximo licor que comprar seja licor Florescente; j para cada
pessoa que compre o licor Petalado h s 80% de probabilidade de a essncia de
miostis o tornar to inesquecvel que o prximo licor comprado seja ainda o licor
Petalado.
Com base nestes dados, pretende-se construir uma cadeia de Markov que represente a situao descrita.
Se X(t) representar o tipo de licor comprado por uma pessoa na sua t-sima compra, ento a cadeia de Markov limita-se a assumir um dos dois valores seguintes: F
(ltimo licor comprado foi o Florescente) ou P (ltimo licor comprado foi o Petalado).
O espao de estados ser, deste modo, X = {F, P}.
A cadeia de Markov pode ento ser descrita pela seguinte matriz (estocstica) de
transies:
(F)
(P)
0.90
0.10
P = (F)
(P)
0.20
0.80
Uma outra forma de representar a cadeia atravs do diagrama de transies:
0.90

0.80

0.10

P
0.20

2.3. PROBABILIDADES DE TRANSIO


O conhecimento das probabilidades de transio entre os estados de grande importncia nas cadeias de Markov. Conforme foi referido anteriormente, as probabilidades de transio em um perodo fazem parte da definio da cadeia de Markov.
igualmente importante conhecer as probabilidades de transio em n perodos ou passos.
4

Define-se a probabilidade de transio em n passos como


pij(n) = P{X(t+n) = j | X(t) = i} = P{X(n) = j | X(0) = i} , t =0, 1, 2, i, jX
Uma das formas de obter o valor de pij(n) calcular as probabilidades de cada um
dos caminhos que, partindo do estado i, conduzem ao estado j em n passos, e som-las.
Apesar da aparente simplicidade deste mtodo, medida que n aumenta tambm aumenta a possibilidade de esquecimento de caminhos alternativos e o clculo da probabilidade torna-se mais complexo. Alternativamente pode-se calcular o elemento (i,j) da
matriz Pn, mtodo bastante mais eficiente.
Para demonstrar a equivalncia dos dois mtodos, retomar-se- o exemplo definido
no ponto anterior. Suponhamos que se pretende conhecer a probabilidade de a terceira
compra futura de um habitante de Verdscamp'sfloridos ser licor Petalado, sabendo que,
no momento presente, comprou licor Florescente, ou seja, pFP(3).
Uma hiptese seria calcular as probabilidades de todas as sequncias de compras,
de forma que a transio FP ocorra em trs aquisies ou passos. Assim, verifica-se que
s h quatro sequncias diferentes de transies em trs passos tais que, partindo do
estado F, se acaba no estado P:
(1)
(2)
(3)
(4)

FP P P
FFP P
FFFP
FP FP

Relembrando que, se A e B forem independentes, P{A e B} = P{A} P{B}, podemos ento calcular a probabilidade de cada sequncia:
(1)
(2)
(3)
(4)

P{FP e PP e PP} = 0.1 0.8 0.8 = 0.064


P{FF e FP e PP} = 0.9 0.1 0.8 = 0.072
P{FF e FF e FP} = 0.9 0.9 0.1 = 0.081
P{FP e PF e FP} = 0.1 0.2 0.1 = 0.002

Do mesmo modo, P{A ou B} = P{A} + P{B}, pelo que


pFP(3) = 0.064 + 0.072 + 0.081 + 0.002 = 0.219

Houve aqui a aplicao directa das equaes de Chapman-Kolmogorov:

pij(q+m) = k pik(q) pkj(m)


De facto, assumindo q = 1 e m = 2 aquisies,
5

pFP(3) = P{FP} P(2){PP} + P{FF} P(2){FP},


sendo
P(2){PP} = P{PP} P{PP} + P{PF} P{FP} e
P(2){FP} = P{FP} P{PP} + P{FF} P{FP}.
Este resultado pode ser obtido por outra via, pois o elemento da linha que corresponde ao estado F (estado actual) e da coluna que corresponde ao estado P (estado futuro) da matriz P3 exactamente 0.219, como se poder ver seguidamente.

P3 = (F)
(P)

(F)
0.781
0.438

(P)
0.219
0.562

Na verdade, a forma usada para calcular o valor anterior (somar as probabilidades


de caminhos alternativos) corresponde exactamente operao de multiplicao de
matrizes que nos conduz a P3, tendo correspondncia directa com as equaes de
Chapman-Kolmogorov.
importante referir que se P for uma matriz estocstica, ento qualquer potncia
de P tambm o , pois Pn = [pij(n)], sendo pij(n) 0 e j pij(n) = 1.

2.4. CLASSIFICAO DOS ESTADOS


Um caminho do estado i para o estado j uma sequncia de transies com probabilidades de ocorrncia positivas que ligam os dois estados (do exemplo anterior:
FPFP). No existe qualquer limite ao nmero de transies nem h a obrigao
de a sequncia ser a mais curta entre os dois estados.
Diz-se que o estado j atingvel a partir do estado i se e s se houver pelo menos
um caminho de i para j. Dois estados i e j so comunicantes se e s se j for atingvel a
partir de i e i for atingvel a partir de j.
Diz-se que uma Cadeia de Markov irredutvel se e s se qualquer estado j for
atingvel a partir de qualquer estado i, ou seja, se todos os estados forem comunicantes.
Um estado j diz-se transiente se existir um estado k que seja atingvel a partir de j,
mas no sendo j atingvel a partir de k. Por outras palavras, se j for transiente no h a
garantia de, saindo de j, voltar l.
Um estado j diz-se recorrente se no for transiente, ou seja, se for sempre possvel
regressar a j.
No exemplo seguinte os estados 0 e 1 so transientes enquanto os estados 2 e 3
so recorrentes.

0.60

0.40

Um estado j diz-se absorvente se aps o processo l entrar no mais voltar a sair,


ou seja, se pjj = 1. No exemplo seguinte o estado 0 absorvente enquanto os estados 1 e
2 so transientes.
1

0.30

0
0.40

0.70

0.60

1
Um estado recorrente j diz-se peridico com perodo k > 1 se k for o menor inteiro
tal que todos os caminhos de j para j tiverem um comprimento mltiplo de k (ou seja, k
o mximo divisor comum dos comprimentos de todos os caminhos do estado j para o
estado j). No exemplo seguinte os estados 0 e 1 tm perodo k = 2.
1

0.70

0.30

Um estado recorrente diz-se aperidico se k = 1. Uma cadeia de Markov diz-se


ergdica se todos os estados forem recorrentes, aperidicos e comunicantes. A cadeia
seguinte ergdica.
0.75

1
0.25

2.5. PROBABILIDADES ESTACIONRIAS


Numa Cadeia de Markov irredutvel e ergdica, decorrido um nmero muito elevado de perodos de tempo (n), a probabilidade de o processo estar no estado j
constante e independente do estado inicial i, como se pode observar atravs da matriz
P16, que contem as probabilidades de transio em dezasseis perodos:

16

P = (F)
(P)

(F)
0.6677
0.6644

(P)
0.3323
0.3356

A esta probabilidade chama-se probabilidade estacionria do estado j e representa-se por j. Por outras palavras,

pij(n+1) pij(n) j

quando n .

Tendo esta caracterstica presente, e como (pelas equaes de Chapman-Kolmogorov) pij(n+1) pode ser escrito como o produto [linha i de Pn] [coluna j de P], ento, para n muito elevado, podemos escrever
j = [coluna j de P], sendo o vector linha [1, 2, 3, ,s].
Isto corresponde a um sistema de equaes ( = P) em que o nmero de equaes igual ao nmero de variveis, sendo ambos iguais ao nmero de estados. No
entanto este sistema indeterminado, pois uma das equaes redundante; a indeterminao resolvida acrescentando a equao que garante que a soluo seja uma distribuio de probabilidades. Assim, para conhecer as probabilidades estacionrias j
resolve-se o sistema

j = i i pij

j j = 1

(1)
(2).

Subtraindo j pij a ambos os membros das equaes (1) do sistema, elas podem ser
re-escritas da seguinte forma

j (1 - pjj) = ij i pij ,
tendo a seguinte interpretao:
[Probabilidade de uma transio para fora do estado j] =
= [Probabilidade de uma transio para o estado j].
Relembrando o exemplo que nos acompanha desde o incio, quais as probabilidades estacionrias?

F = 0.90 F + 0.20 P
P = 0.10 F + 0.80 P
F + P = 1

F = 0.6666

P = 0.3333

O que estes valores significam que, aps bastante tempo, cerca de dois teros das
pessoas, em mdia, compraro o licor Florescente, enquanto que s um tero delas ir
comprar o licor Petalado. Deste modo as probabilidades estacionrias podem ser usadas
como indicadores das quotas de mercado de cada marca e ser muito teis em processos
de tomada de deciso. De facto, a famlia Petalado sabe que se conseguir aumentar o
grau de fidelizao dos clientes que compram o seu licor aumentar a sua quota de
mercado, servindo o modelo para quantificar estes aumentos.
8

2.6. TEMPOS DE TRANSIO


O tempo (medido em nmero de perodos) que decorre at que o processo,
partindo do estado i, atinja o estado j pela primeira vez, chamado tempo de transio
(em ingls, first passage time). Se o estado final coincidir com o estado inicial (j = i),
este tempo chamado de tempo de recorrncia para o estado i. O tempo de transio
do estado i para o estado j representado por tij.
Trata-se de uma varivel aleatria, uma vez que assumir diferentes valores com
diferentes probabilidades, consoante o caminho percorrido entre os dois estados. Conhecer a distribuio de probabilidade das variveis tij pode no ser fcil. , no entanto,
relativamente simples conhecer o seu valor esperado (E[tij] = ij), chamado tempo
esperado de transio (ou de recorrncia, consoante o caso).
Para calcular o tempo esperado da transio de i para j no preciso encontrar todos os caminhos entre i e j e as respectivas probabilidades de ocorrncia. Alm de fastidioso, seria praticamente impossvel obter o valor desejado desta forma. Qualquer que
seja a cadeia de Markov, a transio do estado i para o estado j feita em um perodo
com probabilidade pij, e em todos os outros casos (k j) o nmero esperado de perodos
ser igual a (1+kj) com probabilidade pik. Ento podemos escrever a seguinte
expresso

ij = pij (1) + kj pik (1 + kj),


a qual, depois de simplificada, d origem ao seguinte sistema de equaes lineares:

ij = 1 + kj pik kj .
Voltando novamente ao exemplo anterior:

FF = 1 + 0.10 PF
FP = 1 + 0.90 FP
PF = 1 + 0.80 PF
PP = 1 + 0.20 FP

FF = 1.5
FP = 10
PF = 5
PP = 3

No caso dos tempos mdios de recorrncia verifica-se que ii = 1/i. No exemplo considerado, FP significa que uma pessoa que compre o licor Florescente demora,
em mdia, 10 perodos at passar a comprar licor Petalado.

2.7. CADEIAS DE MARKOV COM ESTADOS ABSORVENTES


Consideremos agora o caso das cadeia de Markov com estado(s) absorvente(s).
Uma vez que um estado absorvente j tem pjj = 1, uma vez visitado a Cadeia de Markov
no mais sai deste estado. Assim, numa cadeia de Markov com estados absorventes
qualquer estado que comunique com um estado absorvente um estado transiente.

Se pensarmos no que acontece medida que o nmero de perodos vai aumentando (n), concluimos que a probabilidade de o processo estar num estado transiente
(obviamente) tende para zero. Ou seja, no longo prazo o processo estar num estado
absorvente. Neste caso interessa conhecer a probabilidade de, estando num dado estado
transiente, o processo vir a entrar (mais tarde ou mais cedo) num estado absorvente.
Estas probabilidades so chamadas probabilidades estacionrias de absoro, ou seja,
as probabilidades de o processo passar de um qualquer estado transiente para um
qualquer estado absorvente num qualquer nmero de perodos.
Para ilustrar este tipo de cadeia de Markov, consideremos o seguinte exemplo:
Na loja de artigos informticos do Sr. Pague-Depressa, os clientes so divididos
em categorias, consoante o nvel dos pagamentos j efectuados: pagou (categ. 0),
atrasado no mais de 30 dias (categ. 1), atrasado no mais de 60 dias (categ. 2) ou
caloteiro (categ. 3). As contas so verificadas mensalmente e o estado de cada cliente
determinado. Segundo as regras do Sr. Pague-Depressa, os clientes devero pagar
uma conta dentro de 30 dias mas, pagando prestaes, podem-se atrasar no mximo
60 dias; a partir dessa data o Sr. Pague-Depressa entrega os dados do cliente a uma
empresa especializada em cobrana de dvidas.
Aps a anlise dos dados histricos da loja, construiu-se a seguinte matriz de
transies:
(0)
(3)
(1)
(2)
(0)
1
0
0
0
0
1
0
0
P = (3)
(1)
0.7
0
0.2
0.1
(2)
0.5
0.2
0.1
0.2
Com base nestes dados, pretende-se conhecer a probabilidade de um cliente
acabar, eventualmente, na categoria 3 (caloteiro), dado estar actualmente quer na
categoria 1 quer na categoria 2.
O diagrama de transies o seguinte:
0.20

1
0.70
1

0.20

0.10
0.10

2
0.20

0.50

Consideremos as seguintes parties na matriz das probabilidades de transio:


I 0
P=
,
R Q
em que: I a matriz (identidade) que contem as probabilidades de transio entre estados absorventes; 0 a matriz nula, indicando que no existem transies dos estados
10

absorventes para os estados transientes; R a matriz que contem as probabilidades de


transio dos estados transientes para os estados absorventes; Q a matriz que contem
as probabilidades de transio entre estados transientes.
As probabilidades de passar de um qualquer estado transiente para um qualquer
estado absorvente
- em 1 perodo so dadas por
- em 2 perodos so dadas por
- em 3 perodos so dadas por

- em n+1 perodos so dadas por

R;
QR ;
Q2 R ;

Qn R .

Para obter as probabilidades de passar de um qualquer estado transiente para um


qualquer estado absorvente num qualquer nmero de perodos temos que considerar a
soma
R + QR + Q2R + Q3R + = (I Q)-1R ,
Ou seja, os elementos da matriz (I Q)-1R so as probabilidades estacionrias de
absoro. Alternativamente, chegava-se mesma concluso se se considerasse a matriz
Pn quando n.
A matriz (I Q)-1 chamada a matriz fundamental da cadeia de Markov, tendo os
seus elementos um significado especial: o elemento (i,j) representa o nmero esperado de
vezes que o estado transiente j visitado antes de o processo entrar num estado
absorvente qualquer, partindo do estado transiente i. No exemplo anterior
(I Q)-1R =

0.968 0.032
0.747 0.254

Assim, a probabilidade de um cliente ser, eventualmente, caloteiro igual a 0.032


se o seu dbito no tiver mais de 30 dias e igual a 0.254 se o seu dbito tiver entre 30 e
60 dias. Por outro lado,
-1
(I Q) =

1.27 0.16
0.16 1.27

o que significa que uma conta com um dbito at 30 dias demora 1.27 + 0.16 = 1.43
meses at estar totalmente liquidada. Note-se que possvel uma conta rejuvenescer,
ou seja, ter um dbito entre 30 e 60 dias num ms e no ms seguinte ter um dbito at 30
dias (por pagamento do dbito antigo e novas compras).

11

3.

CADEIAS DE MARKOV EM TEMPO CONTNUO

3.1. DEFINIO
Uma cadeia de Markov em tempo contnuo , como a designao indica, uma
cadeia de Markov em que a varivel tempo contnua, representando instantes ou momentos do tempo (e no perodos no tempo como no ponto anterior). Assim, uma
cadeia de Markov em tempo contnuo um processo estocstico {X(t), t 0} com a
propriedade de Markov, ou seja, a probabilidade de o processo estar no estado j num
momento futuro depende apenas do estado presente e no dos estados visitados em
qualquer momento passado:
Pij(t) = P{X(t+s) = j | X(s) = i , X(u) = k para 0 u s} =
P{X(t+s) = j | X(s) = i},

i, j, k X

Apenas vamos considerar cadeias de Markov com as seguintes caractersticas:


1)

O espao de estados X finito ou contvel.

2)

As probabilidades de transio de um estado para outro no dependem do


tempo de permanncia nesse estado (cadeia estacionria), ou seja,
Pij(t) = P{X(t+s) = j | X(s) = i} = P{X(t) = j | X(0) = i}, s 0 i, jX

3.2. TEMPO DE PERMANNCIA NO ESTADO


O tempo que o processo permanece em cada estado passa a ser uma considerao
importante, pois o processo em tempo contnuo e no em tempo discreto. Este tempo
, naturalmente, incerto ou aleatrio. Seja i a varivel aleatria tempo de permanncia
no estado i, isto , o tempo necessrio para que o sistema saia do estado i, efectuando
uma transio para outro estado.
Ento, facilmente se conclui que o processo permanece no estado i entre os instantes 0 e t se e s se o tempo de permanncia no estado i for superior a t, ou seja,
P{X(t) = i | X(0) = i} = P{i > t | i > 0} = P{i > t}, t

i X .

Por outro lado, o sistema permanece no estado i entre os instantes s e (t + s) se e


s se o tempo necessrio para que o sistema saia do estado i for superior a (t + s), dado
que o tempo de permanncia no estado i era superior a s, ou seja,
P{X(t + s)=i | X(s)=i} = P{i > t + s | i > s} , t , s 0 i X .

12

Como P{X(t+s) = i | X(s) = i} = P{X(t) = i | X(0) = i} ento P{i > t+s | i > s} =
P{i > t}. Por outras palavras, a distribuio da varivel aleatria tempo de permanncia num dado estado independente do tempo que o processo tenha j passado nesse
estado (propriedade da ausncia de memria). Como a nica distribuio contnua que
goza desta propriedade a distribuio exponencial, concluimos que i tem distribuio
exponencial.
Suponhamos que a varivel aleatria i 0 tem distribuio exponencial com
parmetro (taxa) i. Ento a funo distribuio dada por Fi (t) = P{i t} = 1 - e -t
i
t 0. O valor esperado E[i] = 1/ i e a varincia V[i] = 1/ i2, verificando-se
sempre que a mdia igual ao desvio padro, sendo ambos iguais ao inverso do
parmetro.
A distribuio exponencial goza de duas propriedades muito importantes no estudo
das cadeias de Markov em tempo contnuo, as quais sero apresentadas sem qualquer
demonstrao. Uma, que foi j referida a propriedade da ausncia de memria,
segundo a qual P{i > t + s | i > s} = P{i > t} , s,t 0. A outra diz-nos que se a
varivel aleatria min for o mnimo de diferentes variveis aleatrias independentes (1,
2, , N), cada qual com distribuio exponencial de parmetro i (i =1, , N), ento
min tem tambm distribuio exponencial, sendo o parmetro dado por = i i.

3.3.

REPRESENTAO

Uma Cadeia de Markov em tempo contnuo fica completamente definida se conhecermos os estados X = {0, 1, 2, , s}, o parmetro i da distribuio (exponencial)
de cada varivel i (tempo de permanncia em cada estado i) e as probabilidades de o
processo transitar para o estado j, dado que saiu do estado i (pij). Em alternativa a conhecer os parmetros i e as probabilidades pij, basta conhecer as taxas de transio entre os estados, ij.
A interpretao intuitiva de i e de ij de que se trata de taxas de transio.
Concretamente, i a taxa de transio para fora do estado i, significando que i o
nmero esperado de vezes que o processo sai do estado i por unidade de tempo passado
no estado i. Assim, i o inverso do tempo mdio de permanncia no estado i, ou seja,
E[i] = 1/i. De modo semelhante, ij a taxa de transio do estado i para o estado j,
significando isto que ij o nmero esperado de vezes que o processo efectua uma transio de i para j por unidade de tempo passado no estado i.
Existem duas formas de representao: graficamente, atravs do diagrama de
transies, ou atravs de uma matriz quadrada U que contem as taxas de transio.
Num diagrama de transies cada estado representado por um vrtice, e cada
arco orientado ligando dois vrtices representa uma transio possvel entre dois estados,
sendo o coeficiente associado ao arco a respectiva taxa.

13

Na matriz U, cada linha i representa o estado actual e cada coluna j representa o


estado futuro (a ordem dos estados actuais deve ser igual dos estados futuros, respectivamente, nas linhas e nas colunas de U). Deste modo, o elemento ij da matriz representa a taxa de transio do estado i para o estado j.
As taxas de transio ij so dadas por ij = i pij (ij), e portanto verifica-se que

ji ij = i ji pij = i .
3.4. PROBABILIDADES ESTACIONRIAS
No estudo das cadeias de Markov em tempo contnuo interessa conhecer as probabilidades estacionrias (t) de o processo estar nos diferentes estados (j).
Para se obterem as probabilidades estacionrias, escrevem-se as chamadas equaes de balano que traduzem a ideia de que, em equilbrio, a taxa mdia de sadas de
um qualquer estado deve ser igual taxa mdia de entradas nesse mesmo estado. Essas
equaes constituem o seguinte sistema:

j j = ij i ij .

(1)

semelhana do que acontecia nas cadeias em tempo discreto, tambm o sistema


(1) indeterminado. Encontram-se, ento, as probabilidades estacionrias acrescentando
a equao seguinte:

j j = 1

(2)

Consideremos o exemplo seguinte:


Uma mquina, integrada numa linha de produo, solda duas peas idnticas.
Sabe-se que o tempo entre duas chegadas consecutivas de peas mquina tem uma
distribuio exponencial com mdia igual a um quarto de hora. Da mesma forma, o
tempo de soldagem segue uma distribuio exponencial com mdia igual a meia hora.
Pretende-se construir uma cadeia de Markov que represente a situao descrita,
determinando as probabilidades estacionrias.
Se X(t) representar o nmero de peas na mquina no momento t, ento X(t)
limita-se a assumir um dos trs valores seguintes: 0, 1 ou 2 peas. O espao de estados
ser, deste modo, X ={0, 1, 2}. Existem apenas dois tipos de acontecimentos: chegada
de uma pea mquina (ch=4 peas/h) e sada das duas peas soldadas (p=2 peas
soldadas/h).
As transies so descritas seguidamente no respectivo diagrama. As transies
01 e 12 correspondem chegada de uma pea mquina, enquanto a transio
20 corresponde sada das peas soldadas. No se considera a possibilidade de haver

14

a transio 02 pelo facto de se considerar que s ocorre um evento de cada vez (


possvel efectuar a separao temporal de acontecimentos quase simultneos).
4

2
A matriz que contem as taxas de transio a seguinte:

(0)
U = (1)
(2)

(0)
0
0
2

(1)
4
0
0

(2)
0
4
0

Para calcular as probabilidades estacionrias, escrevemos as equaes de balano e


a equao de normalizao:
Equaes de balano:

estado 0:
estado 1:
estado 2:

Equao de normalizao:

4 0 = 2 2
4 1 = 4 0
2 2 = 4 1
0 + 1 + 2 = 1

A soluo do sistema 0 = 0.25, 1 = 0.25 e 2 = 0.50. Significa isto que a


mquina passa 25% do tempo com 0 ou 1 pea, e 50% com 2 peas.

4.

PROCESSOS DE NASCIMENTO-MORTE

4.1. GENERALIDADES
Os Processos de Nascimento-Morte so processos estocsticos muito utilizados na
descrio de Sistemas de Filas de Espera, dada a sua particular estrutura: as transies
de um qualquer estado s so possveis para estados vizinhos (i.e., de um estado i para
os estados i+1 ou i-1). De facto, adoptando um espao de estados X ={0, 1, } e
representando cada estado um certo nvel de populao (nmero de clientes numa loja,
nmero de mensagens num atendedor de chamadas, nmero de produtos a processar,
etc) tais transies podem ser facilmente interpretadas: a transio do estado i para o
estado i+1 ser um nascimento (por exemplo, chegada de um cliente), por significar
um aumento do nvel da populao, enquanto que a transio do estado i para o estado
i-1 ser uma morte (partida de um cliente), por significar um decrscimo do nvel da
populao.

15

4.2. EQUAES DE BALANO


As equaes de balano so facilmente escritas a partir do diagrama de transies,
pois o facto de as transies de um qualquer estado s serem possveis para, no mximo,
dois estados torna as equaes bastante compactas.
Consideremos o seguinte diagrama de transies:
01

12

1
10

23

34

2
21

32

43

As equaes de balano sero, ento:


estado 0:
estado 1:
estado 2:

estado n:

0 01 = 1 10
1 (10 + 12) = 0 01 + 2 21
2 (21 + 23) = 1 12 + 3 32

n (n,n-1 + n,n+1) = n-1 n-1,n + n+1 n+1,n

Da primeira equao concluimos que 1 = (01/10) 0. Da segunda equao, e substituindo 1 pela sua expresso em termos de 0, tiramos que 2 = (12 01 / 21 10) 0.
Prosseguindo da mesma forma possvel exprimir as restantes probabilidades em termos
de 0, e atravs da equao de normalizao encontrar o valor de 0. As restantes
probabilidades estacionrias so ento muito simples de calcular.

5.

BIBLIOGRAFIA

inlar, Erhan (1975), Introduction to Stochastic Processes, Prentice-Hall, Inc.


Hillier, G. and J. Lieberman (1995), Introduction to Operations Research, Sixth Edition,
McGraw-Hill.
Kleinrock, Leonard (1975), Queueing Systems (Vol. I: Theory), John Wiley & Sons.
Ross, Sheldon M. (1983), Stochastic Processes, John Wiley & Sons.
Winston, Wayne L. (1994), Operations Research Applications and Algorithms, Third
Edition, Duxbury Press.

16

You might also like