Trabajo de Investigación de Operaciones III

Tema:

Cadenas de Markov de tiempo continuo, Cadenas ocultas de Markov .

Presentado por:

 Burgos Sánchez Andrea del Pilar

 Díaz Pertuz Yamith
 Flórez Salgado Juan José
 Lázaro Machado Álvaro

Presentado a:

Ing. Msc. Jorge Mario López

Ingeniería Industrial

VII semestre

Universidad de Córdoba

Montería – Córdoba

2017-2
INTRODUCCION

Las cadenas de Markov son una herramienta que sirve para analizar el comportamiento de

determinados tipos de procesos estocásticos, esto es, procesos que evolucionan de forma no

determinística a lo largo del tiempo en torno a un conjunto de estados. En estos procesos cada

estado corresponde a un evento observable de forma determinística en el cual la salida de las

fuentes en un estado determinado no es aleatoria, restringiendo al modelo a ser utilizado en

muchos modelos de interés. Por lo anterior, se hizo necesario extender los conceptos de los

modelos de Markov para incluir los casos en los que la observación es una función

probabilística del estado, esto es, en muchas ocasiones existen procesos markovianos los cuales

se conocen como continuos los cuales sus cambios de estados se pueden dar en cualquier

instante, Por otra parte, el modelo resultante al cual se le denomina Modelo Oculto de Markov

(MOM) el cual es un proceso estocástico doblemente embebido con un proceso estocástico

que no se encuentra directamente observable (es decir, oculto) pero puede ser observado

solamente por medio de otro conjunto de procesos estocásticos que producen las secuencias de

observaciones.
 OBJETIVOS

OBJETIVO GENERAL:

Investigar el concepto de los modelos continuos de Markov y modelos ocultos con el fin
conocer, identificar y analizar su importancia en los diversos contextos en donde es posible su
aplicación.

OBJETIVOS ESPECIFICOS

 Identificar y comprender los diversos tipos de Cadenas continuas de Markov y ocultas.

 Comprender la importancia de las Cadenas continuas de Markov y ocultas.
 Conocer las características y los tipos de Cadenas continuas de Markov y ocultas.
CADENAS DE MÁRKOV DE TIEMPO CONTINUO

Si en lugar de considerar una secuencia discreta 𝑋1, 𝑋2, . . . , 𝑋𝑖, … con 𝑖 indexado en el
conjunto Ν de números naturales, se consideran las variables aleatorias 𝑋𝑡 con 𝑡 que varía en
un intervalo continuo del conjunto ℝ de números reales, tendremos una cadena en tiempo
continuo. Para este tipo de cadenas en tiempo continuo la propiedad de Márkov se expresa de
la siguiente manera:

𝑃(𝑋(𝑡𝑛+1 ) = 𝑥𝑛+1 |𝑋(𝑡𝑛 ) = 𝑥𝑛 , … , 𝑋(𝑡1 ) = 𝑥1 ) = 𝑃(𝑋(𝑡𝑛+1 ) = 𝑥𝑛+1 |𝑋(𝑡𝑛 )

= 𝑥𝑛 𝑡𝑎𝑙 𝑞𝑢𝑒 𝑡𝑛+1 > 𝑡𝑛 > 𝑡𝑛+1 > ⋯ > 𝑡1

Para una cadena de Márkov continua con un número finito de estados puede definirse una
matriz estocástica dada por:

𝑃(𝑡1 , 𝑡2 ) = [𝑃𝑖𝑗 (𝑡1 , 𝑡2 )], 𝑖, 𝑗 = 1, … , 𝑁

𝑃𝑖𝑗 (𝑡1 , 𝑡2 ) = 𝑃[𝑋(𝑡2 ) = 𝑗|𝑋(𝑡1 ) = 𝑖], 0 ≥ 𝑡1 < 𝑡2

La cadena se denomina homogénea si 𝑃(𝑡1 , 𝑡2 ) = 𝑃(𝑡2 − 𝑡1 ). Para una cadena de Márkov en

tiempo continuo homogénea y con un número finito de estados puede definirse el llamado
generador infinitesimal como:

𝑃(ℎ) − 𝐼
𝑄 = lim+
ℎ→0 ℎ

Y puede demostrarse que la matriz estocástica viene dada por:

 ∞
𝑄𝑡
𝑄𝑛 𝑡 𝑛
𝑃𝑡 = 𝑒 =∑
𝑛!
𝑛=0

Ejemplo 1:

Consideramos un sistema de procesamiento con dos subsistemas secuenciales. Los tiempos de

permanencia en cada uno de los subsistemas son independientes y se distribuyen
exponencialmente con parámetros 𝑢1 y 𝑢2 respectivamente. Los trabajos llegan según un PP
de parámetro 𝜆. Un trabajo entra solamente si el subsistema 1 está vacío. Un trabajo que ha
completado su procesamiento en el subsistema 1 pasa al 2 solamente si éste está vacío, si no,
abandona el sistema.

El estado del sistema viene descrito por el número de trabajos en cada uno de los procesadores,
𝑆 = {(0, 0), (1, 0), (0, 1), (1, 1)}, designados por {0, 1, 2, 3}. Teniendo en cuenta las
propiedades de la distribución exponencial, la distribución de los tiempos de permanencia en
cada estado será:

𝑇0 Tiempo de permanencia en el estado 0.

𝑃(𝑇0 > 𝑡) = 𝑃 (No llegue ningún trabajo en (0, 𝑡)) = 𝑒 −𝜆𝑡

𝑃(𝑇0 ≤ 𝑡) = 1 − 𝑒 −𝜆𝑡

𝑇0 ∼ 𝐸𝑥𝑝(𝜆)

𝑇1 Tiempo de permanencia en el estado 1 = (1,0)

𝑃(𝑇1 > 𝑡) = 𝑃 (No acabe el procesamiento en el subsistema 1 en (0, 𝑡)) = 𝑒 −𝑢1 𝑡

𝑃(𝑇1 ≤ 𝑡) = 1 − 𝑒 −𝑢1 𝑡
 𝑇1 ∼ 𝐸𝑥𝑝(𝑢1 )

𝑇2 Tiempo de permanencia en el estado 2 = (0,1)

𝑃(𝑇2 > 𝑡) = 𝑃 (No llegue ningún trabajo en (0, 𝑡) y tampoco se acabe de procesar el trabajo
en el subsistema 2 en (0, 𝑡)) = 𝑒 −𝜆𝑡 𝑒 −𝑢2 𝑡 = 𝑒 −(𝜆+𝑢2 )𝑡

𝑃(𝑇2 ≤ 𝑡) = 1 − 𝑒 −(𝜆+𝑢2 )𝑡

𝑇2 ∼ 𝐸𝑥𝑝(𝜆 + 𝑢2 )

𝑇3 Tiempo de permanencia en el estado 3 = (1,1)

𝑃(𝑇3 > 𝑡) = 𝑃 (No acabe ningún trabajo en (0, 𝑡)) = 𝑒 −𝑢1 𝑡 𝑒 −𝑢2𝑡 = 𝑒 −(𝑢1 +𝑢2 )𝑡

𝑃(𝑇3 ≤ 𝑡) = 1 − 𝑒 −(𝑢1 +𝑢2 )𝑡

𝑇3 ∼ 𝐸𝑥𝑝(𝑢1 + 𝑢2 )

Las probabilidades de transición serán:

𝑝01 = 1 𝑝12 = 1

𝑢2 𝜆
𝑝20 = 𝑝23 =
𝜆 + 𝑢2 𝜆 + 𝑢2

𝑢2 𝑢1
𝑝31 = 𝑝32 =
𝑢1 + 𝑢2 𝑢1 + 𝑢2
Ejemplo 2:

A la boletería de un cine llegan personas de acuerdo a un proceso de Poisson con tasa 𝜆> 0

(personas/minuto). El cine dispone de tres cajas y la atención se realiza por orden de llegada

de la siguiente forma: si al momento de llegar una persona hay al menos una caja disponible,

entonces es atendida de inmediato, si no, entonces se sitúa al final de la cola. Si no hay clientes

en el sistema (cola+caja), el cine mantiene abierta una sola caja. A medida que van llegando

espectadores, es posible que se forme cola. Así, en el instante en que la cola alcanza a 10

personas, se abre una segunda caja (si es que solo había una caja abierta) que atiende en

paralelo a la primera. Además, si la cola sigue creciendo, cuando llega a tener 20 personas se

abre una tercera caja (si es que solo habían dos cajas abiertas) que atiende en paralelo a las

otras dos. (Nunca puede ocurrir que haya personas en la cola y alguna caja desocupada). Ahora

bien, si están las tres cajas abiertas y un cajero observa que al terminar de atender un cliente el

número de personas en la cola es menor que 20, dicha caja se cierra hasta que sea requerida

nuevamente y las dos cajas restantes siguen atendiendo en paralelo. Adicionalmente, si hay

dos cajeros atendiendo y cualquiera de ellos observa que al ter-minar de atender a un cliente el

sistema queda completamente vacío (no hay clientes en la cola ni en atención), dicha caja

cierra, quedando solo una caja abierta. Suponga que las aperturas y cierres de caja no toman

tiempo. Suponga que cada cajero demora un tiempo aleatorio con distribución exponencial con

tasa 𝜇 (𝑐𝑜𝑛 2𝜇 > 𝜆) en atender a una persona y que todas las atenciones son independientes.

Adicionalmente, si al llegar una persona encuentra 18 o más personas en la cola, con

probabilidad p entra a la boletería y se pone en la cola y con probabilidad 1 − 𝑝 simplemente

se va (0 < p < 1). Esta probabilidad es la misma e independiente para cada cliente. Finalmente,
 dado el desagrado que resulta la espera por la atención, cuando hay 25 o más personas en la

cola, cualquier cliente que estas en la cola puede aburrir de esperar, abandonando el sistema

luego de un tiempo aleatorio con distribución exponencial con tasa 𝑚𝛼, donde m es el número

de clientes en la cola y 𝛼 es un parámetro conocido y positivo. Este tiempo es independiente

para cada cliente. (Si hay menos de 25 personas en la cola, nadie la abandona).

Suponga que los tiempos de atención, la entrada de clientes y los tiempos de aburrimiento son

todos independientes entre sí e independientes del proceso de llegada. Se desea modular este

sistema como una CMTC y obtener expresiones para algunas medidas de desempeño en el

largo plazo.

a) Defina las variables de estado del proceso y especifique los estados posibles.

b) Especifique claramente las transiciones posibles de cada estado.

c) Si en un instante x > 0 dado que hay dos cajas atendiendo, calcule la probabilidad de que el

cliente que lleva mayor tiempo de atención, termine de comprar su entrada primero.

d) Escriba las ecuaciones de equilibrio en el largo plazo para todos los casos posibles.

e) Obtenga expresiones en función de las probabilidades límites (suponga que existen y que las

conoce), para cada una de las siguientes medidas de desempeño:

 Proporción de tiempo en que se pierden clientes por abandono, en el largo plazo.

 Numero promedio de personas en la cola en un instante cualquiera, en el largo plazo.
 Tasa promedio de atención de personas (clientes/unidad de tiempo), en el largo plazo.
 Tasa media de pérdida de clientes, en el largo plazo.

Solución
a) Cuando hay entre 1 y 10 personas en el sistema (cola+cajas) debemos ocupar variables de

estado bidimensionales (i,j) para especificar los estados, donde: i = número de personas en el

sistema (cola+cajas); i = 1,2; 3,….,10.

1, 𝑠𝑖 ℎ𝑎𝑦 𝑢𝑛𝑎 𝑠𝑜𝑙𝑜 𝑐𝑎𝑗𝑎 ℎ𝑎𝑏𝑖𝑙𝑖𝑡𝑎𝑑𝑎

𝑗={
2, 𝑒𝑛 𝑐𝑢𝑎𝑙𝑞𝑢𝑖𝑒𝑟 𝑜𝑡𝑟𝑜 𝑐𝑎𝑠𝑜.

Para el resto de los estados, basta ocupar una variable de estado: i = número de personas en el

sistema (cola+cajas); i = 0, 11, 12,13,…

b) Las transiciones posibles de cada estado son

c) La distribución exponencial carece de memoria, de modo que no importa el tiempo que los

clientes llevan siendo atendidos. Por tanto, el cliente que lleva mayor tiempo de atención saldrá
1
primero con probabilidad 2 .

d) Las ecuaciones de equilibrio se resumen a continuación

e) Las expresiones en función de las probabilidades para las medidas de desempeño son:

Ejemplo 3:

Supongamos una cadena con dos estados: 0 y 1. Asumimos que q (0, 1) = 1 y que q (1, 0) = 2,
entonces
Ya que la suma es 0 por filas, por construcción de Q. Para calcular eQt se diagonaliza la matriz,
calculando previamente los autovectores y autovalores de Q. Los autovalores son 0 y −3 y los
autovectores forman la matriz

Se tiene que

De este modo

Se puede calcular entonces

Ya que

De este modo
Se puede observar entonces que cuanto t → ∞

Donde

MODELOS OCULTOS DE MARKOV

En los modelos Markovianos cada estado corresponde a un evento observable de forma

determinista. Así, la salida de tales fuentes en un estado determinado no es aleatoria. Este
modelo está restringido a ser utilizado en muchos modelos de interés. Por lo que es necesario
extender los conceptos de los modelos de Markov para incluir los casos en los que la
observación es una función probabilística del estado, esto es, el modelo resultante (al cual se
le denomina Modelo Oculto de Markov o MOM) el cual es un proceso estocástico doblemente
embebido con un proceso estocástico que no se encuentra directamente observable (es decir,
oculto) pero puede ser observado solamente por medio de otro conjunto de procesos
estocásticos que producen las secuencias de observaciones (Macas & Padilla, 2012).

Dicho de otra forma un modelo oculto de Markov es un modelo donde se asume que el sistema
que se modela es una cadena de Markov, pero los estados son desconocidos (están escondidos)
(Roux, 2015).

El trabajo seminal que introdujo el uso de modelos ocultos de Markov a las ciencias de la
computación, fue el de leonar & Baum, donde exploraba la aplicación de estos en el
reconocimiento del habla. En ese trabajo de Rabiner, recordó que el funcionamiento de las
cadenas de Markov, le es conocido a los matemáticos, desde el final de la década de los años
60 y principio de la década de los 70, pero que no habían sido ampliamente utilizados por dos
razones: la mayor parte de los trabajos publicados acerca del tema estaban en publicaciones
editadas por la comunidad científica matemática ( y los ingenieros dedicados a la computación
no las leían) y por otro lado no se habían encontrado algoritmos para optimizar las soluciones
a los problemas de los MOM (Macas & Padilla, 2012). En este trabajo se explicó que los
modelos ocultos de Markov son un:

“doble proceso estocástico con un proceso subyacente que no es observable (oculto) pero
que puede ser observado a través de otro conjunto de procesos estocásticos que generan
la secuencia de observaciones. ‘‘ (Mejia & Nieto, 2015)

Según (Balcazar & Godoy, 2012) otros autores definieron a los modelos ocultos de Markov
se pueden definir como:
 (Morgan, 1991): “Los MOM describen un proceso de probabilidad el cual produce una
secuencia de eventos o símbolos observables. Son llamados ocultos porque hay un proceso de
probabilidad subyacente que no es observable, pero afecta la secuencia de eventos
observados”.

 Xuang, Acero y Hon (2001): “ Los MOM son una extensión de las cadenas de Markov, en
donde la salida del sistema puede tomar varios valores para cada estado, con lo que nace una
nueva variable aleatoria (discreta o continua), conocida como vector de variables aleatorias.
Este tipo de sistemas se implanta como un doble proceso estocástico: el de las transiciones
entre estados y el de la salida para cada estado”.

“una función probabilística de una cadena oculta de Markov es un proceso estocástico

generado por dos mecanismos interrelacionados, una cadena de Markov subyacente que tiene
un número finito de estados, y un conjunto de funciones aleatorias, cada una asociada con un
estado. En instantes discretos de tiempo, se asume que el proceso está en algún estado y una
observación es generada por la función aleatoria asociada al estado actual. La cadena de
Markov subyacente cambia entonces de estado de acuerdo con su matriz de probabilidad de
transición. El observador ve localmente la salida de las funciones aleatorias asociadas a cada
estado y no puede observar directamente los estados de la cadena de Markov”.

A través de esta explicación, es posible distinguir los elementos que definen a un MOM, así:

1. Los modelos ocultos de Markov son una función de densidad de probabilidad. Esto
significa, que los MOM son una herramienta que se utiliza para representar distribuciones de
probabilidad sobre secuencias de observaciones.
2. Los modelos ocultos de Markov, siempre están en algún estado. En intervalos de tiempo
discretos, se asume que el proceso modelado está en algún estado y que generará un valor para
𝑿 que es observable y dependiente de la función aleatoria asociada al estado actual.
3. Los modelos ocultos de Markov cambian de estado de acuerdo a una matriz de
transiciones. Cada que avanza el tiempo, el modelo puede cambiar de estado (a otro o quedarse
en el mismo) siguiendo siempre los valores de una matriz de probabilidades de transición de
estados.
4. El observador de un modelo oculto de Markov, sólo ve el resultado de las funciones
aleatorias. Cada cambio de estado, se genera un valor nuevo para `` 𝑿 '' que será observable.

ELEMENTOS DE LOS MOM

Según (Robayo Santana, 2009) los elementos de los modelos ocultos de Markov son los
siguientes:

1. El número de estados en el modelo N.

Aunque los estados en los que se encuentra el sistema modelado se consideran ocultos, para
muchas aplicaciones prácticas existe alguna significación física asociada a los estados del
sistema. Generalmente los estados están interconectados de tal manera que cualquier estado
puede ser alcanzado desde cualquier otro, sin embargo existen otras posibilidades. Los estados
serán denotados como 𝑆 = {𝑆1 , 𝑆2 , . . . , 𝑆𝑁 }, y el estado en el instante como qt.

2. El número de símbolos de observación distintos por estado M.

Es el alfabeto de tamaño discreto del modelo. Los símbolos corresponden usualmente a la

salida “física” u observable del sistema modelado. Se denotan los símbolos como 𝑉 =
{𝑣1 , 𝑣2 , . . . , 𝑣𝑀 }.
 3. La distribución de probabilidad de transición 𝑨 = {𝒂𝒊𝒋 }Usualmente representada por una
matriz en donde:

𝒂𝒊𝒋 = 𝑃(𝒒𝒕+𝟏 = 𝑺𝒋 |𝒒𝒕 = 𝑺𝒊 )

Para el caso especial en el que cada estado puede llevar a cualquier otro estado en una sola
transición, 𝒂𝒊𝒋 > 0 para todo 𝑖, 𝑗. En otros tipos de MOM, se tiene que 𝒂𝒊𝒋 = 𝟎para uno o más
pares (𝑖, 𝑗).

4. La distribución de probabilidad de observación de símbolos 𝑩 = {𝒃𝒋 , (𝒌)}. Esta

distribución de probabilidad representa la probabilidad de observar el símbolo 𝑘estando en el
estado 𝑗dónde:

𝒃𝒋 (𝑘) = 𝑃 (𝑣𝑘 𝑒𝑛𝑡|𝑞𝑡 = 𝑆𝑗 ), 1 ≤ 𝑗 ≤ 𝑁, 1 ≤ 𝑘 ≤ 𝑀

5. La distribución inicial π Representa el estado inicial del sistema modelado, donde:

𝜋𝑖 = 𝑃(𝑞1 = 𝑆𝑖 ), 1 ≤ 𝑖 ≤ 𝑁

Dados valores apropiados para 𝑁, 𝑀, 𝐴, 𝐵 𝑦 𝜋, el MOM puede ser utilizado como el generador
de una secuencia de observaciones

𝑂 = 𝑂1 𝑂2 … 𝑂𝑇

(Donde cada observación Ot es uno de los símbolos del conjunto V, y T es el número de

observaciones en la secuencia) de acuerdo al siguiente algoritmo:

1. Seleccionar un estado inicial𝑞1 = 𝑆𝑖 de acuerdo con la distribución inicial π.

2. Establecer el instante de tiempo 𝑡 = 1.

3. Seleccionar𝑂𝑡 = 𝑣𝑘 de acuerdo a la distribución de probabilidad de observación de símbolos
en el estado 𝑆𝑖 , es decir, 𝑏𝑖 (𝑘).

4. Hacer una transición al nuevo estado𝑞𝑡+1 de acuerdo a la distribución de probabilidad para el

estado 𝑆𝑖 , es decir, 𝑎𝑖𝑗

5. Establecer el intervalo de tiempo 𝑡 = 𝑡 + 1; regresar al paso 3 si 𝑡 < 𝑇; de otro modo terminar

el proceso.

Con el procedimiento anterior, se podrían generar secuencias de observaciones

correspondientes al modelo especificado por los parámetros N, M, A, B y π. Por conveniencia,
se representan los parámetros de un MOM a través de la siguiente notación:

𝜆 = (𝐴, 𝐵, 𝜋)

Se puede pensar en los modelos ocultos de Markov como autómatas finitos donde las
transiciones son determinadas por las matrices A y B, los estados por el conjunto S y el alfabeto
por el conjunto V.

Tabla 1

Notación de los elementos de los MOM

SÍMBOLO SIGNIFICADO

T Longitud de la secuencia de observaciones

N Cantidad de estados en el modelo

M Cantidad de símbolos observables

S Estados: {S1, S2,… SN}

Q Secuencia de transiciones: {q1,q2,…qT}

 Conjunto discreto de observaciones posibles:
V
{v1,v2,…vM}

qt Estado visitado en el momento "t"

A {aij} 𝑎𝑖𝑗 = 𝑃(𝑞𝑡+1 = 𝑆𝑗 |𝑞𝑡 = 𝑆𝑖 )

B {bj(k)} 𝑏𝑗 (𝑘) = 𝑃(𝑣𝑘𝑡 |𝑞𝑡 = 𝑆𝑗 )

π {𝜋} = 𝑃(𝑞1 = 𝑆𝑖 )

notación compacta de un
𝜆 = (𝐴, 𝐵, 𝜋)
modelo completo

Fuente: Elaboración propia

Tipos de Mom

De acuerdo con (Macas & Padilla, 2012) los tipos de modelos ocultos de Markov son los
siguientes:

1. Ergódicos

Cuando un MOM tiene una matriz de probabilidad de transición de estados completa (es decir,
que no es cero para ningún 𝑎𝑖𝑗 ) se dice que el MOM es ergódico. En este tipo de MOM
 cualquier estado puede ser visitado nuevamente con probabilidad 1 y estas visitas no deben
tomar necesariamente lugar en intervalos de tiempo periódicos. La siguiente figura muestra un
ejemplo de este tipo de MOM.

Figura: MOM ergódico con N = 4

2. No Ergódicos

En los casos en los que las matrices de transición del MOM pueden tener algunos valores “0”,
se dice que no son ergódicos. Por ejemplo, si se tiene una matriz triangular superior, se tendría
un MOM como el de la siguiente figura.

Figura: MOM no ergódico con matriz A triangular superior y N = 4

A estos modelos se les conoce también como modelos “izquierda-derecha”, pues la secuencia
de estados producida por la secuencia de observaciones siempre deberá proceder desde el
estado más a la izquierda, hasta el que esté más a la derecha. Estos MOM imponen un orden
 temporal al MOM, pues los estados con número menor, generan observaciones que ocurrieron
antes que las generadas por los estados con índices mayores.

3. Autoregresivos

Los MOM autoregresivos, tienen casos especiales del parámetro “B”. Cuando los símbolos
observables de un MOM son vectores continuos (no son un conjunto discreto como un
alfabeto), la función de distribución de probabilidad 𝑏𝑗 (𝑘), es remplazada por la función
continua 𝑏𝑗 (𝑥), 1 ≤ 𝑗 ≤ 𝑁 donde 𝑏𝑗 (𝑥)𝑑𝑥 es igual a la probabilidad de que el vector de
observación O se encuentre entre x y x+dx. Las siguientes son las formas especiales de 𝑏𝑗 (𝑥):

Gausianos con mezcla de densidades

𝑏𝑗 (𝑥) = ∑ 𝐶𝑗𝑘 𝑁(𝑥, µ𝑗𝑘 , 𝑈𝑗𝑘 )

𝑘=1

Donde 𝐶𝑗𝑘 es el peso de la mezcla, Nes la distribución normal y µ𝑗𝑘 , 𝑈𝑗𝑘 son los vectores de
medias y covarianzas asociados con el estado j y la mezcla k.

Gausianos autoregresivos con mezcla de densidades

𝑏𝑗 (𝑥) = ∑ 𝐶𝑗𝑘 𝑏𝑗𝑘 (𝑥)

𝑘=1

Dónde:

𝑒 𝛿(𝑥;𝑎𝑗𝑘 )/2
𝑏𝑗𝑘 =
(2𝜋)𝑘/2

𝛿(𝑥; 𝑎𝑗𝑘 ) = 𝑟𝑎 (0)𝑟𝑧 (0) + ∑ 𝑟𝑎 (𝑖)𝑟𝑥 (𝑖)

𝑗=1
 𝛿(𝑥; 𝑎)Es la distancia LPC estándar entre el vector X (de dimensión K) con auto correlación
𝑟𝑥 y un vector LPC a (de dimensión p) con auto correlación ra.

PROBLEMAS BASICOS DE LOS MOM

Según (Robayo Santana, 2009) existen tres problemas básicos relacionados con los Modelos
ocultos de Markov:

1. Calcular eficientemente 𝑃(𝑶|𝜆) la probabilidad de la secuencia de observación O dado el

modelo 𝜆 = (𝑨, 𝑩, 𝜋) y la secuencia de observación 𝑶 = (𝒐𝟏 𝒐𝟐 . . . 𝒐𝑻).
2. Encontrar la trayectoria más probable 𝒒 = (𝑞1 𝑞2. . . 𝑞𝑻) dado el modelo λ y la secuencia de
observación 𝑶 = (𝑜1𝑜2. . . 𝑜𝑻), 𝑒𝑠 𝑑𝑒𝑐𝑖𝑟, 𝒒 = 𝑎𝑟𝑔𝑟 ∈ 𝑸 ∗ {𝑚𝑎𝑥𝑟 ∈ 𝑄 ∗ 𝑃(𝑟)}.
3. Ajustar los parámetros 𝑨, 𝑩, 𝜋 para maximizar 𝑃(𝑶| 𝜆).

EJEMPLO tomado de (Rodney C, 2015).

Se ilustra un proceso q independiente del tiempo. Supóngase que en un salón se encuentra un

número N muy grande de urnas de vidrio. Dentro de cada urna se tiene una cantidad M de
bolas de colores. Un mago está en el salón y de acuerdo con algún procedimiento aleatorio
 elige una urna inicial. De ésta saca al azar una bola y registra su color como una observación.
La bola es retornada a la urna de la cual fue seleccionada. A continuación selecciona una nueva
urna de acuerdo con un procedimiento aleatorio que depende de la urna actual y la elección de
alguna bola es repetida. Este proceso completo se realiza en un tiempo T y genera una
secuencia de observación finita de colores O de longitud T, la cual puede modelarse como la
salida observable de un HMM. Se asume que las urnas son seleccionadas independientemente.

FIGURA: Modelo de urnas y bolas de N estados que ilustra el caso general de un HMM con
símbolos discretos.

Los siguientes son ejemplos de posibles secuencias de observación del modelo de las urnas y
las bolas:

𝑶𝟏

= (𝑎𝑚𝑎𝑟𝑖𝑙𝑙𝑜, 𝑣𝑒𝑟𝑑𝑒, 𝑎𝑧𝑢𝑙, 𝑣𝑒𝑟𝑑𝑒, 𝑟𝑜𝑗𝑜, 𝑎𝑚𝑎𝑟𝑖𝑙𝑙𝑜, 𝑛𝑎𝑟𝑎𝑛𝑗𝑎, 𝑟𝑜𝑗𝑜, 𝑣𝑒𝑟𝑑𝑒, 𝑎𝑧𝑢𝑙, 𝑎𝑚𝑎𝑟𝑖𝑙𝑙𝑜)

𝑶𝟐

= (𝑎𝑚𝑎𝑟𝑖𝑙𝑙𝑜, 𝑟𝑜𝑗𝑜, 𝑣𝑒𝑟𝑑𝑒, 𝑟𝑜𝑗𝑜, 𝑎𝑧𝑢𝑙, 𝑛𝑎𝑟𝑎𝑛𝑗𝑎, 𝑣𝑒𝑟𝑑𝑒, 𝑟𝑜𝑗𝑜, 𝑎𝑧𝑢𝑙, 𝑎𝑚𝑎𝑟𝑖𝑙𝑙𝑜, 𝑟𝑜𝑗𝑜, 𝑣𝑒𝑟𝑑𝑒)

𝑶𝟑

= (𝑟𝑜𝑗𝑜, 𝑎𝑧𝑢𝑙, 𝑎𝑚𝑎𝑟𝑖𝑙𝑙𝑜, 𝑟𝑜𝑗𝑜, 𝑎𝑧𝑢𝑙, 𝑣𝑒𝑑𝑒, 𝑟𝑜𝑗𝑜, 𝑎𝑚𝑎𝑟𝑖𝑙𝑙𝑜, 𝑛𝑎𝑟𝑎𝑛𝑗𝑎, 𝑛𝑎𝑟𝑎𝑛𝑗𝑎, 𝑣𝑒𝑟𝑑𝑒, 𝑟𝑜𝑗𝑜)
𝑶𝟒 = (𝑟𝑜𝑗𝑜, 𝑣𝑒𝑟𝑑𝑒, 𝑛𝑎𝑟𝑎𝑛𝑗𝑎, 𝑟𝑜𝑗𝑜, 𝑟𝑜𝑗𝑜, 𝑎𝑧𝑢𝑙, 𝑣𝑒𝑟𝑑𝑒, 𝑎𝑚𝑎𝑟𝑖𝑙𝑙𝑜, 𝑎𝑧𝑢𝑙, 𝑟𝑜𝑗𝑜, 𝑣𝑒𝑟𝑑𝑒, 𝑟𝑜𝑗𝑜)

El alfabeto es:

𝛴 = 𝑣𝑒𝑟𝑑𝑒, 𝑎𝑧𝑢𝑙, 𝑟𝑜𝑗𝑜, 𝑎𝑚𝑎𝑟𝑖𝑙𝑙𝑜, 𝑛𝑎𝑟𝑎𝑛𝑗𝑎

𝐿𝑜𝑠 𝑒𝑠𝑡𝑎𝑑𝑜𝑠 𝑜𝑐𝑢𝑙𝑡𝑜𝑠 𝑠𝑜𝑛:

𝑄 = {1,2, … , 𝑁}

Las probabilidades de obtener un color en cada urna son:

Urna 1 Urna 2 … Urna N

P(rojo) = b1(1) P(rojo) = b2(1) … P(rojo) = bN(1)

P(azul) = b1(2) P(azul) = b2(2) … P(azul) = bN(2)

P(verde) = b1(3) P(verde) = b2(3) … P(verde) = bN(3)

P(amarillo) = P(amarillo) = P(amarillo) =

…
b1(4) b2(4) bN(4)

… … … …

P(naranja) = P(naranja) = P(naranja) =

…
b1(M) b2(M) bN(M)

Las probabilidades de pasar de una urna a otra son:

 P(1,1)=a11 P(2,1)=a21 P(3,1)=a31 … P(N,1)=aN1

P(1,2)=a12 P(2,2)=a22 P(3,2)=a32 … P(N,2)=aN2

… … … … …

P(1,N)=a1N P(2,N)=a2N P(3,N)=a3N … P(N,N)=aNN

El primer problema consiste en decidir cuál proceso es representado por los estados y después
decidir cuantos estados pueden estar en el modelo.

Como se ilustró antes, el MOM más simple que corresponda al comportamiento de este proceso
es aquel en el cual cada estado representa una urna específica y cada color representa un posible
símbolo de observación. Por cada estado se define una probabilidad de extraer una bola (color)
y una probabilidad de pasar a la siguiente urna. Los colores de las bolas dentro de cada urna
pueden o no ser los mismos y pueden existir números diferentes de bolas de cada color en cada
urna. Por lo tanto, una observación aislada de un color en particular no dice inmediatamente
de cuál urna procede.
FIGURA: Grafo del modelo de urnas y bolas.
 EJEMPLO:

(Doroteo Toledan & Joaquín, 2008)

Dado una sola moneda al aire, es decir, P (Cara) = P (Sello) = 0,5, que se tira una vez y observar
las Caras.

1. ¿Cuál es la probabilidad de que los próximos 10 lanzamientos proporcionarán la secuencia

(CCSCSSCSSC)?

2. ¿Cuál es la probabilidad de que los próximos 10 lanzamientos proporcionarán la secuencia

(CCCCCCCCCC)?

3. ¿Cuál es la probabilidad de que 5 de los 10 próximos lanzamientos habrá Sellos? ¿Cuál es el

número esperado de falla en los próximos lanzamientos?

Solución:

1. Para una moneda, con lanzamientos de monedas independientes, la probabilidad de cualquier

secuencia de observación específica de longitud 10 (10 lanzamientos) es (1/2) 10 ya que hay
2,10 tales secuencias y todos son igualmente probables. Por lo tanto:

110
𝑃 (𝐶𝐶𝑆𝐶𝑆𝑆𝐶𝑆𝑆𝐶) =
2

2. La probabilidad de que los próximos 10 lanzamientos proporcionarán la secuencia

(CCCCCCCCCC) es de:
110
𝑃 (𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶) =
2

3. La probabilidad de 5 Sellos en los próximos 10 lanzamientos es sólo el número de secuencias

de observación con 5 Sellos y 5 Caras (en cualquier orden) y esto es:
 10 1 10 252
𝑃(5𝐶, 5𝑆) = ( ) ( ) = ≅ 0,25
5 2 1024

Puesto que hay (10

5
) maneras de conseguir 5C y 5S en 10 lanzamientos, y cada secuencia tiene
1 10
probabilidad de (2) . El número esperado de Sellos en 10 lanzamientos es:

10
10 1 10
𝐸 (𝑆 𝑒𝑛 10 𝑙𝑎𝑛𝑧𝑎𝑚𝑖𝑒𝑛𝑡𝑜𝑠) = ∑ 𝑑 ( ) ( ) = 5
𝑑 2
𝑑=0

Así, en promedio, habrá 5C y 5S en 10 lanzamientos, pero la probabilidad de exactamente 5C

y 5S es sólo 0,25.
 Aplicaciones de los modelos ocultos de Markov

Los modelos ocultos de Markov han tenido un amplio uso en la detección de anomalías. A
continuación se mencionan algunas de sus aplicaciones, divididas por área de aplicación:

Tratamiento digital del habla. Las cadenas ocultas de Markov, le deben su fama a esta
aplicación. La mayor parte de los sistemas comerciales de tratamiento del habla incluyen algún
tipo de MOM.

Biociencias

 Clasificación automática de electrocardiogramas.

 Análisis de arritmia cardiaca.
 Representación de la actividad neuronal de las cortezas visuales de simios usando diferentes
estímulos visuales.
 Restauración de las grabaciones de corrientes fluyendo desde un solo canal de iones en una
membrana celular.
 Modelado de series de tiempo de la cantidad de ataques epilépticos.
 Modelado de la secuencia de la cantidad de movimiento de un feto de cordero in utero a través
de ultrasonido.
 Modelado estadístico, búsquedas en bases de datos y alineación de múltiples secuencias de
estructuras de proteínas.
 Modelado y predicción de unidades transcripcionales de genes de Eschericia coli.
 Detección de segmentos homogéneos en secuencias de DNA.
 Aprendizaje de filogenias no singulares.
 Modelo mutagenético longitudinal de la secuencia HIV.
 Análisis a gran escala de genoma.
 Aplicaciones en la biología computacional.
 Predicción genética en DNA

Epidemiología y biométrica

 Modelado de la secuencia de comportamiento de animales bajo observación.

 Análisis de series de tiempo de homicidios relacionados con disparos de armas de fuego y
suicidios en Ciudad del Cabo, Africa del Sur, así como de series de tiempo de nacimientos.

Tratamiento de imágenes

 Clasificación de texturas.
 Técnicas de representación de formas.
 Clasificación de vehículos militares en secuencias de video.
 Reconocimiento automático de palabras clave en documentos pobremente impresos.
 Clasificación de imágenes.
 Análisis de imágenes.
 Reconocimiento de objetos en tercera dimensión.
 Reconocimiento de gestos.
 Extracción de información importante de partidos de béisbol.
 Análisis de la estructura de un video de fútbol soccer.
 Reconocimiento dinámico de expresiones faciales.
 Clasificación automática de huellas dactilares.

Tratamiento de señales sonoras

 Clasificación bajo el agua de señales acústicas.

  Modelo del comportamiento de objetivos y algoritmos de rastreo.
 Segmentación musical acústica.
 Clasificación de ruido ambiental.
 Reconocimiento automático de elementos de canto de aves.
 Clasificación de música folclórica.
 Extracción de sonidos bien articulados con alta confianza.
 Clasificación de patrones musicales.
 Detección y monitoreo automático de fallas.

Detección en-línea de fallas en los mecanismos de orientación de la red espacial

 profunda de la NASA.
 Monitoreo de la evolución del desgaste de herramientas mecánicas.
 Inspección y mantenimiento de sistemas en deterioro.
 Detección de fallas en redes de comunicación tolerantes a fallas.

Comunicación

 Estimación de parámetros y detección de símbolos en canales ruidosos.

 Rastreo de frecuencias de líneas y objetivos.
 Demodulación adaptativa de señales QAM en canales ruidosos.
 Ecualización ciega y semi-ciega de señales.
 Caracterización de errores de ráfaga en canales de radio de interiores.
 Filtrado Universal.
 Modelado de la propagación de canal satelital.

Informática
 Detección de intrusos.
 Modelado de interacción humano / computadora.
 Clasificación del tráfico de red.
 Detección de ataques de red en varias etapas.
 Tratamiento de la pérdida de paquetes para voz sobre IP.
 Codificación.
 Modelado del retraso en Internet.

Análisis no estacionario de series de tiempo

 Modelado de datos de actividad planetaria geomagnética.

 Modelado de series de tiempo de curvas y sismogramas.
 Análisis de la tasa real de crecimiento del producto interno bruto de Estados Unidos, en la post-
guerra.

Control y Optimización

 Análisis de problemas de control sensibles al riesgo.

Climatología

 Modelar relaciones espacio-temporales entre precipitación pluvial en una serie de sitios y

patrones atmosféricos sinópticos.
 Modelado de la persistencia hidroclimática.
 Segmentación de series de tiempo hidrológicas y ambientales.
 Econometría

 Medida de la probabilidad del ciclo de punto de quiebre de un negocio.

 Aplicaciones en la venta de bienes raíces.
 Aplicaciones en las series de retorno diario.
 Modelado de series de tiempo de retorno financieras.

Otros

 Representación de habilidades humanas para la tele-operación del sistema robótico de una

estación espacial.
 Reconocimiento visual del lenguaje de señas americano.
 Modelado de epicentros de terremotos.
 Modelado de sistemas caóticos.
 Reconocimiento de tarjetas de negocios chinas.
 Extracción de información basada en múltiples plantillas.
 Modelado del aprendizaje no paramétrico del movimiento humano.
 Reconocimiento de actividades grupales.

Conclusión

Muchos de los problemas de la vida cotidiana se pueden predecir con cierta fiabilidad si se
usan los modelos matemáticos para determinar sus futuros estados. Unos más complejos que
otros, pero que igualmente brindan información que permite la toma de decisiones de la manera
más acertada para prever el mejor futuro en cada situación; este es el caso de las Cadenas de
Markov de tiempo continuo
BIBLIOGRAFÍA

Hiller, Frederick; Lieberman, Gerald; Introducción a la investigación de operaciones, Editorial

Mc Graw Grill, novena edición, 2010.

Ríos Insua Sixto, Jiménez Antonio, Fernández, Ángel Joaquín, Investigación Operativa:
Ejercicios y Aplicaciones, Fundación General de la Universidad Politécnica de Madrid,
Madrid, 2006.

Torre Toledano, Doroteo; González Rodríguez, Joaquín, Tratamiento de Voz y Señales,

Escuela Politécnica Superior, Universidad Autónoma de Madrid.

Visser, I., Raijmakers, M.E.J. y Molenaar, Fitting hidden Markov models to psychological
data. Scientific Programming, 2002.

Balcazar, P., & Godoy, V. (2012). Identificacion de patrones utilizando modelos ocultos de
makov. Cariamanga, Ecuador.

Hernandez, A. (2014). Procesos de llegadas de markov en modelos multiestados (MAP).

Granada, España.

Macas , D., & Padilla, W. (2012). Estudio de los modelos ocultos de markov y desarrollo de
un prototipo para el reconocimiento automatico del habla. España.

Mejia, G., & Nieto, J. (2015). Modelo estocástico del horno de arco eléctrico basado en un
modelo oculto de markov. Pereira.