CADENAS DE MARKOV

Noah

Definicin formal[editar]
En matemtica se define como un proceso estocstico discreto que cumple con la propiedad
de Mrkov, es decir, si se conoce la historia del sistema hasta su instante actual, su estado
presente resume toda la informacin relevante para describir en probabilidad su estado futuro.
Una cadena de Mrkov es una secuencia X1, X2, X3,... de variables aleatorias. El dominio de
estas variables es llamado espacio estado; el valor de Xn es el estado del proceso en el
tiempo n. Si la distribucin de probabilidad condicional de Xn+1 en estados pasados es una
funcin de Xn por s sola, entonces:

Donde xi es el estado del proceso en el instante i. La identidad mostrada es la propiedad

de Mrkov.

Notacin til[editar]

Cadenas homogneas y no homogneas[editar]

Una cadena de Mrkov se dice homognea si la probabilidad de ir del estado i al

estado j en un paso no depende del tiempo en el que se encuentra la cadena, esto es:
para todo n y para cualquier i,
j.
Si para alguna pareja de estados y para algn tiempo n la propiedad antes
mencionada no se cumple diremos que la cadena de Mrkov es no homognea.

Probabilidades de transicin y matriz de transicin[editar]

La probabilidad de ir del estado i al estado j en n unidades de tiempo es

,
en la probabilidad de transicin en un paso se omite el superndice de modo que
queda

Un hecho importante es que las probabilidades de transicin en n pasos

satisfacen la ecuacin de Chapman-Kolmogrov, esto es, para
cualquier k tal que 0 < k < n se cumple que

donde E denota el espacio de estados.

Cuando la cadena de Mrkov es homognea, muchas de sus

propiedades tiles se pueden obtener a travs de su matriz de
transicin, definida entrada a entrada como

esto es, la entrada i, j corresponde a la probabilidad de ir del estado i a j

en un paso.
Del mismo modo se puede obtener la matriz de transicin en n pasos
como:
, donde

Vector de probabilidad invariante[editar]

Se define la distribucin inicial

Diremos que un vector de probabilidad (finito o infinito numerable) es

invariante para una cadena de Mrkov si

;importante
donde P denota la matriz de transicin de la cadena de Mrkov. Al
vector de probabilidad invariante tambin se le llama distribucin
estacionaria o distribucin de equilibrio. .....111

Clases de comunicacin[editar]

Para dos estados i,j en el espacio de estados E, diremos que

de i se accede a j (y se denotar

) si

para algn n,
si

entonces diremos que i comunica con j y se

denotar ij.
La propiedad "" es una relacin de equivalencia. Esta relacin
induce una particin en el espacio de estados. A estas clases de
equivalencia las llamaremos clases de comunicacin.
Dado un estado x, denotaremos a su clase de comunicacin
como C(x).

Diremos que un subconjunto C del espacio de estados (al

que denotaremos E) es cerrado si ningn estado de E-C
puede ser accedido desde un estado de C, es decir,
si

para todo xC, para todo yE-C y para todo

natural m>0.