LAS CADENAS DE

MARKOV
Uso en la Ingeniera
 DEFINICIN
En matemtica se define como un proceso estocstico discreto que cumple con la propiedad de
Mrkov, es decir, si se conoce la historia del sistema hasta su instante actual, su estado presente
resume toda la informacin relevante para describir en probabilidad su estado futuro.

Una cadena de Mrkov es una secuencia X1, X2, X3,... de variables aleatorias. El dominio de estas
variables es llamado espacio estado; el valor de Xn es el estado del proceso en el tiempo n. Si la
distribucin de probabilidad condicional de Xn+1 en estados pasados es una funcin de Xn por s
sola, entonces:

P(Xn+1=xn+1|Xn=xn,Xn1=xn1,,X2=x2,X1=x1)=P(Xn+1=xn+1|Xn
=xn).
Donde xi es el estado del proceso en el instante i. La identidad mostrada es la propiedad de Mrkov.
 TIPOS DE CADENA DE MARKOV
Cadenas errticas

Cadenas positivo-recurrentes

Cadenas regulares

Cadenas absorbentes

Cadenas de Mrkov en tiempo continuo

 CADENAS ERRTICAS
Una cadena de Mrkov se dice irreducible si se cumple cualquiera de las siguientes
condiciones (equivalentes entre s):

Desde cualquier estado de E se puede acceder a cualquier otro.

Todos los estados se comunican entre s.
C(x)=E para algn xE.
C(x)=E para todo xE.
El nico conjunto cerrado es el total.

La cadena de Ehrenfest o la caminata aleatoria sin barreras absorbentes son

ejemplos de cadenas de Mrkov irreducibles.
 CADENAS POSITIVO-RECURRENTES
Una cadena de Mrkov se dice positivo-recurrente si todos sus estados son
positivo-recurrentes. Si la cadena es adems irreducible es posible demostrar
que existe un nico vector de probabilidad invariante y est dado por:

x=1/x
 CADENAS REGULARES
Una cadena de Mrkov se dice regular (tambin primitiva o ergdica) si
existe alguna potencia positiva de la matriz de transicin cuyas entradas sean
todas estrictamente mayores que cero.

Cuando el espacio de estados E es finito, si P denota la matriz de transicin

de la cadena se tiene que:

lim n 1 P n = W
donde W es una matriz con todos sus renglones iguales a un mismo vector de
probabilidad w, que resulta ser el vector de probabilidad invariante de la
cadena. En el caso de cadenas regulares, ste vector invariante es nico.
 CADENAS ABSORBENTES
Una cadena de Mrkov con espacio de estados finito se dice absorbente si se cumplen las dos condiciones siguientes:

La cadena tiene al menos un estado absorbente.

De cualquier estado no absorbente se accede a algn estado absorbente.

Si denotamos como A al conjunto de todos los estados absorbentes y a su complemento como D, tenemos los siguientes resultados:

Su matriz de transicin siempre se puede llevar a una de la forma

P=(QR/0I)

donde la submatriz Q corresponde a los estados del conjunto D, I es la matriz identidad, 0 es la matriz nula y R alguna submatriz.

P x ( T A < 1 ) = 1, esto es, no importa en donde se encuentre la cadena, eventualmente terminar en un estado absorbente.
 CADENAS DE MRKOV EN TIEMPO
CONTINUO
Si en lugar de considerar una secuencia discreta X1, X2,..., Xi,.. con i indexado en el conjunto N de nmeros naturales, se consideran las
variables aleatorias Xt con t que vara en un intervalo continuo del conjunto R de nmeros reales, tendremos una cadena en tiempo continuo.
Para este tipo de cadenas en tiempo continuo la propiedad de Mrkov se expresa de la siguiente manera:

P ( X ( t n + 1 ) = x n + 1 | X ( t n ) = x n , , X ( t 1 ) = x 1 ) = P ( X ( t n + 1 ) = x n + 1 | X ( t n ) = x n ) tal que t n + 1 > t n > t n 1 > > t 1

Para una cadena de Mrkov continua con un nmero finito de estados puede definirse una matriz estocstica dada por:

P(t1,t2)=[pij(t1,t2)]i,j=1,,N,pij(t1,t2)=P[X(t2)=j|X(t1)=i], 0t1<t2

La cadena se denomina homognea si P ( t 1 , t 2 ) = P ( t 2 t 1 ). Para una cadena de Mrkov en tiempo continuo homognea y con un
nmero finito de estados puede definirse el llamado generador infinitesimal como:

Q = lim h 0 + P ( h ) I / h

Y puede demostrarse que la matriz estocstica viene dada por:

P(t)=eQt=n=0Qntn/n!
 APLICACIONES
Meteorologa: Si consideramos el tiempo atmosfrico de una regin a travs de distintos das, es plausible asumir que el estado actual slo depende del
ltimo estado y no de toda la historia en s, de modo que se pueden usar cadenas de Mrkov para formular modelos climatolgicos bsicos. Por ejemplo, se
han desarrollado modelos de recurrencia de las lluvias basados en cadenas de Mrkov.3

Modelos epidemiolgicos: Una importante aplicacin de las cadenas de Mrkov se encuentra en el proceso Galton-Watson. ste es un proceso de
ramificacin que se puede usar, entre otras cosas, para modelar el desarrollo de una epidemia (vase modelaje matemtico de epidemias).

Internet: El pagerank de una pgina web (usado por Google en sus motores de bsqueda) se define a travs de una cadena de Mrkov, donde la posicin
que tendr una pgina en el buscador ser determinada por su peso en la distribucin estacionaria de la cadena.

Simulacin: Las cadenas de Mrkov son utilizadas para proveer una solucin analtica a ciertos problemas de simulacin, por ejemplo en teora de colas el
Modelo M/M/14 es de hecho un modelo de cadenas de Mrkov.

Juegos de azar: Son muchos los juegos de azar que se pueden modelar a travs de una cadena de Mrkov. El modelo de la ruina del jugador, (Gambler's
ruin), que establece la probabilidad de que una persona que apuesta en un juego de azar finalmente termine sin dinero, es una de las aplicaciones de las
cadenas de Mrkov en este rubro.

Economa y finanzas: Las cadenas de Mrkov se pueden utilizar en modelos simples de valuacin de opciones para determinar cundo existe oportunidad
de arbitraje, as como en el modelo de colapsos de una bolsa de valores o para determinar la volatilidad de los precios. En los negocios, las cadenas de
Mrkov se han utilizado para analizar los patrones de compra de los deudores morosos, para planear las necesidades de personal y para analizar el
reemplazo de equipo.

Gentica: Se emplean cadenas de Mrkov en teora de gentica de poblaciones, para describir el cambio de frecuencias gnicas en una poblacin
pequea con generaciones discretas, sometida a deriva gentica. Ha sido empleada en la construccin del modelo de difusin de Mot Kimura.

Msica: Diversos algoritmos de composicin musical usan cadenas de Mrkov, por ejemplo el software Csound o Max

Operaciones: Se emplean cadenas de Mrkov en inventarios, mantenimiento, flujo de proceso

Redes Neuronales: Se utilizan en las mquinas de Boltzmann (redes neuronales)

 USOS EN LA INGENIERA
Los modelos de procesos de Markov son tiles para estudiar la evolucin de
sistemas a lo largo de ensayos repetidos los que, a menudo, son perodos
sucesivos donde el estado del sistema en cualquier perodo en particular no
puede determinarse con certeza. Por ello, para describir la forma en que el
sistema cambia de un perodo a otro consecutivo se emplean probabilidades
de transicin. Por tanto se est interesado en la probabilidad de que el
sistema est en un estado particular en un perodo dado.