Cadenas de

Markov
MAGGIO LEONARDO
Contenido
 Proceso estocástico
 Cadenas de markov
 Probabilidad de transición
 Probabilidades estacionarias
 Probabilidad de transición en n pasos
 Matriz de transición
 Grafica de un proceso
 Clasificacion de estados
 Distribucion estacionaria de probabilidades
 Ejemplo
 Bibliografia
Proceso Estocástico
 Es una familia de variables aleatorias 𝑋 𝑡 , 𝑡 𝜖𝑇 , en donde t toma
valores del conjunto T
 Se puede representar,
sabiendo la distribución de
probabilidad conjunta de
dichas variables.
 Para cada t el sistema se
encuentra en uno de un
numero finito de estados
mutuamente excluyentes:
0,1,2,..,M
 Los valores de estas
observaciones no se pueden
predecir exactamente
Cadenas de Markov

 Una cadena de Markov es un proceso estocástico. Los estados

futuros del proceso dependen únicamente del presente, por lo
mismo son independientes del pasado.

 Considere el proceso 𝑋𝑛+1 , 𝑋𝑛 , 𝑋𝑛−1 , … , 𝑋1 , 𝑋0

 Si 𝑋𝑛 = 𝑖 El proceso se encuentra en el estado i en el
tiempo n.
 Un proceso cumple con la propiedad markoviana si:
Probabilidad de transición
 La probabilidad 𝑃(𝑋𝑛+1 = 𝑗|𝑋𝑛 = 𝑖) se denomina probabiliad de
transición

Probabilidades estacionarias
 Si 𝑃 𝑋𝑛+1 = 𝑗 𝑋𝑛 = 𝑖 = 𝑃 𝑋𝑛 = 𝑗 𝑋𝑛−1 = 𝑖 = ⋯ = 𝑃 𝑋1 = 𝑗 𝑋0 = 𝑖 se
dice que la probabilidad es estacionaria y se denota como 𝑃𝑖𝑗

Probabilidad de transición en n pasos

 𝑃 𝑋𝑡+𝑛 = 𝑗 𝑋𝑡 = 𝑖 = 𝑃 𝑋𝑛 = 𝑗 𝑋0 = 𝑖 = 𝑃𝑖𝑗 (𝑛) para toda t:0,1,2,..
Matriz de transición

 Las cadenas de Markov se representan a través de matrices

cuadradas formadas por las probabilidades de transición
Representación grafica
 Clasificación de Estados
 Absorbente: Un estado tal que si el proceso entra en él, permanecerá indefinidamente
en este estado.
 Recurrente: en la medida que comenzando en el, se tenga la certeza de volver en
algún momento del tiempo.
 Transitorio: Cuando un proceso pasa por un estado y este, después de n pasos, ya no
regresa a el.
 Periódico: Un estado i es periódico con periodo k>1 si k es el menor número tal que
todas las trayectorias que parten del estado i y regresan al estado i tienen una longitud
múltiplo de k
 Aperiódico: Si un estado recurrente no es periódico es aperiódico.
 Ergodica: Si todos los estados de una cadena son recurrentes, aperiódicos y se
comunican entre sí, la cadena es ergódica.
 Ecuación de Chapman-Kolmogorov

 Distribución estacionaria de probabilidades

Existe entonces un vector

Ejemplo
 YPF: 40%
 Axion: 30%
 Petrobras: 30%

En YPF se determinó que el 80% de los clientes continuaran con

ellos, en cambio un 10% se cambiara a Axion.
En axion el 70% continuara con ellos y un 20% se cambiará a
Petrobras
En Petrobras el 60% continuara en el, en cambio 20% decide ir
a axion
 Matriz de transición

0.8 0.1 0.1

0.4 0.3 0.3 0.1 0.7 0.2 = 0.41 0.31 0.28
0.2 0.2 0.6

Mediante Software 1 periodo

Mediante Software 2 periodos

Mediante Software 6 periodos