Introduccion a las cadenas de Markov

INTRODUCCIÓN A LAS CADENAS DE MARKOV

Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria, "Recuerdan" el último evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar una moneda al aire o un dado. En los negocios, las cadenas de Markov se han utilizado para analizar los patrones de compra,los deudores morosos, para planear las necesidades de personal y para analizar el reemplazo de equipo. El análisis de Markov, llamado así en honor de un matemático ruso que desarrollo el método en 1907, permite encontrar la probabilidad de que un sistema se encuentre en un estado en particular en un momento dado. Algo más importante aún, es que permite encontrar el promedio a la larga o las probabilidades de estado estable para cada estado. Con esta información se puede predecir el comportamiento del sistema a través del tiempo. La tarea más difícil es reconocer cuándo puede aplicarse. La característica más importante que hay que buscar en la memoria de un evento a otro.

Matriz de transición

Una matriz de transición es aquella cuyos elementos son probabilidad de pasar de un estado actual a estados posteriores. Una matriz de transición tiene un renglón y una columna para cada estado. Los renglones se refieren a las últimas manifestaciones (o las siguientes) de estos estados. Una matriz de transición se lee como una tabla; un elemento de un renglón y una columna representa la probabilidad de efectuar una transición de un estado de actual representado por dicho renglón al estado posterior representado por esa columna.

Observaciones sobre la matriz de transición

1. Una matriz de transición debe ser cuadrada

2. Cada elemento de una matriz de transición debe estar entre 0 y 1.

3. La suma del elemento de cualquier renglón debe ser igual a 1.

 CADENAS DE MARKOV ABSORBENTES

No todas las cadenas de Markov son regulares y, por lo tanto, no todas las cadenas de Markov tienen una matriz de equilibrio. Un estado absorbente en un sistema de Markov es un estado a partir de la cual existe cero probabilidades de salir. Un sistema absorbente de Markov es un sistema de Markov que contiene al menos un estado absorbente, tal que es posible llegar a un estado absorbente después de algún número de etapas comenzando en cualquier estado no absorbente.

 Probabilidad de transiciones estacionarias de n pasos

Consideremos que en un locutorio telefónico con 5 líneas de teléfono en un instante de tiempo dado puede haber un número cualquiera de líneas ocupadas. Durante un periodo de tiempo se observan las líneas telefónicas a intervalos de 2 minutos y se anota el número de líneas ocupadas en cada instante.¥ Sea X1 la v. a. que representa el número de líneas ocupadas al principio del periodo.¥ Sea X2 la v.a. que representa el número de líneas ocupadas cuando se observa en el segundo instante de tiempo, 2 minutos más tarde.¥ En general, n =1 ,2,... Xn es una v.a. que representa el número de líneas ocupadas cuando se observan en el instante de tiempo n−ésimo.

 ♣ El estado del proceso en cualquier instante de tiempo es el número de líneas que están siendo utilizadas en ese instante.

♣ Un proceso es tocástico como el que acabamos de describirse llama proceso de parámetro discreto, ya que las líneas se observan en puntos discretos a lo largo del tiempo.

Ejemplo 2.

Una tienda de cámaras tiene en almacén un modelo especial de cámara que se puede ordenar cada semana. Sean D1, D2, … las demandas de esta cámara durante la primera, segunda, …, semana, respectivamente. Se supone que las Di son variables aleatorias independientes e idénticamente distribuidas que tienen una distribución de probabilidad conocida. Sea X0 el número de cámaras que se tiene en el momento de iniciar el proceso, X1 el número de cámaras que se tienen al final de la semana uno, X2 el número de cámaras al final de la semana dos, etc. Suponga que X0 = 3. El sábado en la noche la tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente política (s, S)1 para ordenar: si el número de cámaras en inventario al final de la semana es menor que s =1 (no hay cámaras en la tienda), ordenar (hasta)S=3. De otra manera, no coloca la orden (si se cuenta con una o más cámaras en el almacén, no se hace el pedido). Se supone que las ventas se pierden cuando la demanda excede el inventario. Entonces, {X1} para t = 0, 1,.. es un proceso estocástico de la forma que se acaba de describir. Los estados posibles del proceso son los enteros 0, 1, 2, 3 que representan el número posible de cámaras en inventario al final de la semana. Observe que {Xi}, en donde Xi es el número de cámaras en el almacén al final de la semana t (antes de recibir el pedido), es una cadena de Markov. Se verá ahora cómo obtener las probabilidades de transición (de un paso), es decir, los elementos de la matriz de transición (de un paso).Suponiendo que cada Dt tiene una distribución Poisson con parámetro. Para obtener es necesario evaluar. Si, Entonces. Por lo tanto, significa que la demanda durante la semana fue de tres o más cámaras. Así, , la probabilidad de que una variable aleatoria Poisson con parámetro tome el valor de 3 o más ;y se puede obtener de una manera parecida. Si, entonces. Para obtener, la demanda durante la semana debe ser 1 o más. Por esto, Para encontrar, observe que si . En consecuencia, si , entonces la demanda durante la semana tiene que ser exactamente 1. por ende, . Los elementos restantes se obtienen en forma similar, lo que lleva a la siguiente a la siguiente matriz de transición (de un paso):Probabilidad de transición estacionaria de n pasos. Las ecuaciones de Chapman-Kolmogorov proporcionan un método para calcular estas probabilidades de transición de n pasos :Estas ecuaciones simplemente señalan que al ir de un estado i al estado j en npasos, el proceso estará en algún estado k después de exactamente m (menorque n) pasos. Así,Es solo la probabilidad condicional de que, si se comienza en el estado i, e lproceso vaya al estado k después de m pasos y después al estado j en n- m pasos.

...