CADENAS DE MARKOV

Un proceso estocstico es un conjunto de variables aleatoria (X t), donde el

ndice toma valores de un conjunto dado y representa el estado del sistema en el
tiempo t. Estos procesos son de inters para describir el comportamiento de un
sistema en operacin durante algunos periodos. La condicin actual de un proceso
puede estar en una de las categoras mutuamente excluyentes llamadas estados.
Estos procesos se conocen como estocsticos de tiempo discreto con espacio de
estado finito.

Bajo la suposicin de que un proceso estocstico es una cadena de

Markov, se establece que la probabilidad condicional de cualquier evento futuro
dado cualquier evento pasado y el estado actual X t, es independiente de los
eventos pasados y solo depende del estado actual del proceso.

Las probabilidades condicionales de una cadena de Markov se llaman

probabilidades de transicin y son estacionarias, es decir, las probabilidades de
transicin no cambian con el tiempo. Entonces las probabilidades de transicin de
n pasos son la probabilidad condicional de que el sistema se encuentre en el
estado j luego de n pasos. Dado que las probabilidades son condicionales deben
ser no negativas.

Las cadenas de Markov que se estudian tienen las siguientes propiedades:

1. Tienen un nmero finito de estados.

2. Sus probabilidades de transicin son estacionarias.
3. Se supondr que se conocen las probabilidades iniciales X 0=i, para toda i.

Ecuaciones de Chapman-Kolmogorov:

Las ecuaciones de Chapman- Kolmogorov brindan un mtodo para calcular

estas probabilidades de transicin de n pasos:

Pij(n)=Pik(m)Pkj(n-m)

Esto establece que al ir del estado i al j en n pasos, el proceso estar en

algn estado k despus de m pasos y despus en el estado j luego de (n-m)
pasos.
Las probabilidades de transicin de n pasos se pueden obtener a partir de
las probabilidades de transicin de un paso de manera recursiva, al multiplicar la
matriz de transicin de un paso por s misma:
 P(n)=PP(n-1)
P(n)=Pn-1P
P(2)=Pn

De esta forma, la matriz de probabilidades de transicin de n pasos se

obtiene al calcular la ensima potencia de la matriz de transicin de un paso.

Clasificacin de estados en una cadena de Markov:

Se dice que el estado j es accesible desde el estado i si P ij(n) > 0 para alguna
n 0, es decir, que se llega al estado j despus de n pasos partiendo del estado i.
Generalmente, es suficiente para que todos los estados sean accesibles el hecho
que exista un valor n para el que Pij(n) > 0.

Entonces, si el estado j es accesible desde el estado i y el estado i es

accesible desde el estado j, entonces se dice que los estados i y j se comunican, y
en general:

1. Cualquier estado se comunica consigo mismo.

2. Si el estado i se comunica con el estado j, entonces j se comunica con i.
3. Si el estado i se comunica con el estado j y el estado j se comunica con el
estado k, entonces i se comunica con k.

Se dice que dos estados que se comunican pertenecen a una misma clase. Si
existe una sola clase, es decir, si todos los estados se comunican, la cadena de
Markov es irreducible.

Si despus de haber entrado a un estado el sistema nunca regresa a l, se

llama estado transitorio, por otra parte, si despus de haber entrado a un estado el
sistema definitivamente regresara a l, se llama estado recurrente. Y si despus
de haber entrado a un estado el sistema nunca sale de l, se considera un tipo
especial de estado recurrente y se le denomina estado absorbente.

La recurrencia al igual que la periodicidad, son propiedades de clase. Los

estados que tiene periodo 1 son denominados aperidicos y los estados
recurrentes aperidicos son denominados ergdicos.