Professional Documents
Culture Documents
Cadenas de Markov
4.1. Introduccin. 4.2 Caso de Aplicacin. 4.3. Formulacin de las cadenas de Markov. 4.4. Procesos estocsticos. 4.5. Propiedad de transicin de 1er. orden. 4.6. Probabilidad de transicin estacionaria de un solo paso. 4.7. Probabilidad de transicin estacionaria de n pasos. 4.8. Probabilidad de transicin estacionaria de estados estables. 4.9. Tiempos de primer paso.
4.1 Introduccin
Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria. "Recuerdan" el ltimo evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar una moneda al aire o un dado. En los negocios, las cadenas de Markov se han utilizado para analizar los patrones de compra de los deudores morosos, para planear las necesidades de personal y para analizar el reemplazo de equipo. El anlisis de Markov, llamado as en honor de un matemtico ruso que desarrollo el mtodo en 1907, permite encontrar la probabilidad de que un sistema se encuentre en un estado en particular en un momento dado. Algo ms importante an, es que permite encontrar el promedio a la larga o las probabilidades de estado estable para cada estado. Con esta informacin se puede predecir el comportamiento del sistema a travs del tiempo. La tarea ms difcil es reconocer cundo puede aplicarse. La caracterstica ms importante que hay que buscar en la memoria de un evento a otro.
con las habilidades necesarias para el trabajo y controlar la nmina. Una planeacin de personal a largo plazo apropiada requiere que se considere el movimiento de personas tanto hacia arriba en el escalafn de clasificacin como hacia afuera de la organizacin. El anlisis de Markov puede ayudar en este esfuerzo de planeacin. El movimiento de personal a otras clasificaciones puede considerarse como una cadena de Markov. Se supone que hay tres clasificaciones; el grado 1 es la ms baja. Adems, los descensos se consideran raros y se omiten. El estado "salen" es absorbente, el cual incluye renuncias, ceses, despidos y muertes. Por supuesto, todos los empleados finalmente alcanzan este estado. Las transiciones del grado 1 al grado 2 y del grado 2 al grado 3 representan promociones. Como transiciones de probabilidad, estn controladas por la firma, puede establecerse el nivel que la firma determine que es necesario para cumplir sus objetivos. Como ejemplo, supngase que la firma tiene en este momento 30 empleados del 3, 90 empleados del grado 2 y 300 empleados del grado 1 y que desea mantener este nivel de empleados durante el prximo ao. Por experiencia, se espera que salgan el 30 % de los empleados de grado 1 al ao, el 20 % de los empleados de grado 2 y el 10 % de aquellos que estn en el grado 3. Si la poltica es contratar slo en los niveles de clasificacin ms bajos, cuntos se deben contratar y cuntos se deben promover el siguiente ao para mantener estables los niveles ?. Este problema puede resolverse sin el anlisis de Markov, pero el modelo es til para ayudar a conceptualizar el problema. Como se trata slo de un ciclo, se usa el anlisis de transicin. El anlisis comienza con el grado ms alto. No se hacen promociones pero el 10 %, o sea, 3, sale. Todos ellos deben de reemplazarse por promociones del grado 2. En el nivel de clasificacin, el 20 % sale y se deben promover 3, con una prdida de 21. Esto se debe compensar por promocin del grado 1. Al pasar al grado 1, el 30 % sale y 21 deben promoverse, lo cual una prdida total de 111. Por tanto, el siguiente ao se deben contratar 111 empleados del nivel 1. En este ejemplo se derivan algunas tasas de transicin a partir de consideraciones externas.
La probabilidad de que Ek sea el siguiente evento generado es una probabilidad condicional: P ( Ek / Mj ). Esto se llama probabilidad de transicin del estado M j al estado Ek. Para describir completamente una cadena de Markov es necesario saber el estado actual y todas las probabilidades de transicin. Probabilidades de transicin. Una forma de describir una cadena de Markov es con un diagrama de estados, como el que se muestra en la figura 4.1.2. En sta se ilustra un sistema de Markov con cuatro estados posibles: M1, M2 , M3 y M4 . La probabilidad condicional o de transicin de moverse de un estado a otro se indica en el diagrama
Otro mtodo para exhibir las probabilidades de transicin es usar una matriz de transicin. . La matriz de transicin para el ejemplo del diagrama de estados se muestra en la tabla 4.1.1
Otro mtodo para exhibir las probabilidades de transicin es usar una matriz de transicin. . Para n = 0, 1, 2, ....
sistema fsico es la de un proceso estocstico {Xi}, en donde las variables aleatorias se observan en t = 0, 1, 2,. . ., y en donde cada variable aleatoria puede tomar el valor de cualquiera de los M + 1 enteros 0, 1, .. , M . Estos enteros son una caracterizacin de los M + 1 estados del proceso.
Para
obtener
es
necesario
evaluar
Si
Entonces
. Por lo tanto,
durante la semana fue de tres o ms cmaras. As, aleatoria Poisson con parmetro y , la probabilidad de que una variable tome el valor de 3 o ms;
Si , entonces durante la semana debe ser 1 o ms. Por esto, Para encontrar
. , observe que
si . En consecuencia, si , entonces la demanda durante la semana tiene que ser exactamente 1. por ende, . Los elementos restantes se obtienen en forma similar, lo que lleva a la siguiente a la siguiente matriz de transicin (de un paso):
Estas ecuaciones simplemente sealan que al ir de un estado i al estado j en n pasos, el proceso estar en algn estado k despus de exactamente m ( menor que n) pasos. As,
Es solo las probabilidad condicional de que, si se comienza en el estado i, el proceso vaya al estado k despus de m pasos y despus al estado j en n- m pasos.
Los casos especiales de m=1 y m=n-1 conducen a las expresiones Para toda i, j, y n de lo cual resulta que las probabilidades de transicin de n pasos se pueden obtener a partir de las probabilidades de transicin de un paso de manera recursiva. Para n=2, estas expresiones se vuelven:
observarse que estos elementos, se obtienen multiplicando la matriz de transicin de un paso por s misma; esto es , P(2) = P * P = P2 . En trminos ms generales, se concluye que la matriz de probabilidades de transicin de n pasos se puede obtener de la expresin: P(n) = P * P .... P = Pn = PPn-1 = Pn-1 P. Entonces, la matriz de probabilidades de transicin de n pasos se puede obtener calculando la n-sima potencia de la matriz de transicin de un paso. Para valores no muy grandes de n, la matriz de transicin de n pasos se puede calcular en la forma que se acaba de describir, pero cuando n es grande, tales clculos resultan tediosos y, ms an, los errores de redondeo pueden causar inexactitudes.
As, dado que tiene una cmara al final de una semana, la probabilidad de que no haya cmaras en inventario dos semanas despus es 0.283; es decir, De igual manera, dado que se tienen dos cmaras al final de una semana, la probabilidad de que haya tres cmaras en el almacn dos semanas despus es 0.097; esto es, La matriz de transicin de cuatro pasos tambin se puede obtener de la siguiente manera: P(4) = P4 = P(2) * P(2) As, dado que queda una cmara al final de una semana, 0.282 es la probabilidad de que no haya cmaras en inventario 4 semanas ms tarde; es decir, De igual manera, dado que quedan dos cmaras en el almacn final de una semana, se tiene una probabilidad de 0.171 de que haya tres cmaras en el almacn 4 semanas despus; esto es,
El vector a menudo se llama distribucin de estado estable, o tambin distribucin de equilibrio para la cadena de Markov. Para encontrar la distribucin de probabilidades de estacionario para una cadena dada cuya matriz de transicin es P, segn el teorema, para n grande y para toda i, (1) Como Pij (n + 1) = ( rengln i de Pn )(columna j de P), podemos escribir 9
(2)
Ejemplo:
Suponga que toda la industria de refrescos produce dos colas. Cuando una persona ha comprado la cola 1, hay una probabilidad de 90 % de que su siguiente compra se de cola 1. Si una persona compr cola 2, hay un 80 % de probabilidades que su prxima compra sea de cola 2.
Entonces :
Al despejar resulta que Por lo tanto, despus de largo tiempo, hay probabilidad 2/3 de que una persona dada compre cola 1 y 1/3 de probabilidad de que una persona compre cola 2.
se tienen al final de la semana uno, X2 el nmero de cmaras al final de la semana dos, etc. Suponga que X0 = 3 . El sbado en la noche la tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente poltica ( s, S)1 para ordenar : si el nmero de cmaras en inventario al final de la semana es menor que s =1 (no hay cmaras en la tienda), ordenar (hasta) S=3. De otra manera, no coloca la orden (si se cuenta con una o ms cmaras en el almacn, no se hace el pedido). Se supone que las ventas se pierden cuando la demanda excede el inventario. Entonces, {X 1} para t = 0, 1, .. es un proceso estocstico de la forma que se acaba de describir. Los estados posibles del proceso son los enteros 0, 1, 2, 3 que representan el nmero posible de cmaras en inventario al final de la semana. Donde Xt es el nmero de cmaras en inventario al final de la semana t y se comienza con , Suponga que ocurri lo siguiente:
En este caso, el tiempo de primer paso para ir al estado 3 al estado 1 es dde 2 semanas, el tiempo de primer paso para ir del estado 3 al estado 0 es de 3 semanas y el tiempo de recurrencia del estado 3 es de 4 semanas. En general, los tiempos de primer paso son variables aleatorias y, por lo tanto, tienen una distribucin de probabilidad asociada a ellos. Estas distribuciones de probabilidad dependen de las probabilidades de transicin del proceso. En particular, denota la probabilidad de que el tiempo de primer paso del estado i al j sea igual a n. Se puede demostrar que estas probabilidades satisfacen las siguientes relaciones recursivas:
Entonces se puede calcular la probabilidad de un tiempo de primer paso del estado i al j en n pasos, de manera recursiva, a partir de las probabilidades de transicin de un paso. En el ejemplo, la distribucin de probabilidad de los tiempos de primer paso del estado 3 al estado 0 se obtiene como sigue:
Esta suma puede ser menor que 1, lo que significa que un proceso que el iniciar se encuentra en el estado i puede no llegar nunca al estado j . Cuando la suma es igual a 1, las pueden considerarse como una distribucin de probabilidad para la variable aleatoria, el tiempo de primer paso. Para obtener el tiempo esperado de primer paso del estado i al estado j. Sea , que se define como:
Entonces
Cuando i=j,
Al aplicarlo al ejemplo del inventario, estas ecuaciones se pueden usar para calcular el tiempo esperado hasta que ya no se tengan cmaras en el almacn, suponiendo que el proceso inicia cuando se tienen tres cmaras; es decir, se puede obtener el tiempo esperado de primer paso . Como todos los estados son recurrentes, el sistema de ecuaciones conduce a las expresiones
12
De manera que el tiempo esperado hasta que la tienda se queda sin cmaras es de 3.50 semanas.
13