Cadenas De Markov

4.1 Introducción.

________________________________________

Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria. " Recuerdan" el último evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar una moneda al aire o un dado.

En los negocios, las cadenas de Markov se han utilizado para analizar los patrones de compra de los deudores morosos, para planear las necesidades de personal y para analizar el reemplazo de equipo.

El análisis de Markov, llamado así en honor de un matemático ruso que desarrollo el método en 1907, permite encontrar la probabilidad de que un sistema se encuentre en un estado en particular en un momento dado. Algo más importante aún, es que permite encontrar el promedio a la larga o las probabilidades de estado estable para cada estado. Con esta información se puede predecir el comportamiento del sistema a través del tiempo.

La tarea más difícil es reconocer cuándo puede aplicarse. La caracteristica más importante que hay que buscar en la memoria de un evento a otro.

4.2 Caso de Aplicación.

________________________________________

Aplicación a la administración : Planeación de Personal.

El anális de transición puede ser útil al planear satisfacer las necesidades de personal. Muchas firmas emplean trabajadores de diferentes niveles de clasificación dentro de la misma categoría de trabajo. Esto es común para personal de confianza, oficinistas, obreros calificados, no calificados y personal profesional. La firma debe tener el número de empleados en cada nivel de clasificación para proporcionar la oportunidad de promoción adecuada, cumplir con las habilidades necesarias para el trabajo y controlar la nómina. Una planeación de personal a largo plazo apropiada requiere que se considere el movimiento de personas tanto hacia arriba en el escalafón de clasificación como hacia afuera de la organización. El análisis de Markov puede ayudar en este esfuerzo de planeación.

El movimiento de personal a otras clasificaciones puede considerarse como una cadena de Markov. Se supone que hay tres clasificaciones; el grado 1 es la más baja. Además, los descensos se consideran raros y se omiten. El estado "salen" es absorbente, el cual incluye renuncias, ceses, despidos y muertes. Por supuesto, todos los empleados finalmente alcanzan este estado.

Las transiciones del grado 1 al grado 2 y del grado 2 al grado 3 representan promociones. Como transiciones de probabilidad, están controladas por la firma, puede establecerse el nivel que la firma determine que es necesario para cumplir sus objetivos. Como ejemplo, supóngase que la firma tiene en este momento 30 empleados del 3, 90 empleados del grado 2 y 300 empleados del grado 1 y que desea mantener este nivel de empleados durante el próximo año. Por experiencia, se espera que salgan el 30 % de los empleados de grado 1 al año, el 20 % de los empleados de grado 2 y el 10 % de aquellos que están en el grado 3. Si la política es contratar sólo en los niveles de clasificación más bajos, cuántos se deben contratar y cuántos se deben promover el siguiente año para mantener estables los niveles ?.

Este problema puede resolverse sin el análisis de Markov, pero el modelo es útil para ayudar a conceptualizar el problema. Como se trata sólo de un ciclo, se usa el análisis de transición. El análisis comienza con el graado más alto. No se hacen promociones pero el 10 %, o sea, 3, sale. Todos ellos deben de reemplazarse por promociones del grado 2. En el nivel de clasificación, el 20 % sale y se deben promover 3, con una pérdida de 21. Esto se debe compensar por promoción del grado 1. Al pasar al grado 1, el 30 % sale y 21 deben promoverse, lo cual una pérdida total de 111. Por tanto, el siguiente año se deben contratar 111 empleados del nivel 1.

En este ejemplo se derivan algunas tasas de transición a partir de consideraciones externas.

4.3 Formulación de las cadenas de Markov.

________________________________________

Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria. " Recuerdan" el último evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar una moneda al aire o un dado.

En la figura 4.1.1 se muestra el proceso para formular una cadena de Markov. El generador de Markov produce uno de n eventos posibles, Ej , donde j = 1, 2, . . . , n, a intervalos discretos de tiempo (que no tiene que ser iguales ). Las probabilidades de ocurrencia para cada uno de estos eventos depende del estado del generador. Este estado se describe por el último evento generado. En la figura 4.1.1, el último evento generado fue Ej , de manera que el generador se encuentra en el estado Mj .

La probabilidad de que Ek sea el siguiente evento generado es una probabilidad condicional : P ( Ek / Mj ). Esto se llama probabilidad de transición del estado Mj al estado Ek. Para describir completamente una cadena de Markov es necesario saber el estado actual y todas las probabilidades de transición.

Probabilidades de transición.

Una forma de describir una cadena de Markov es con un diagrama de estados, como el que se muestra en la figura 4.1.2. En ésta se ilustra un sistema de Markov con cuatro estados posibles : M1, M2 , M3 y M4 . La probabilidad condicional o de transición de moverse de un estado a otro se indica en el diagrama

Otro método para exhibir las probabilidades de transición es usar una matriz de transición. . La matriz de transición para el ejemplo del diagrama de estados se muestra en la tabla 4.1.1 .

Otro método para exhibir las probabilidades de transición es usar una matriz de transición. .

Para n = 0, 1, 2, ....

El superíndice n no se escribe cuando n = 1.

4.4 Procesos estocásticos.

________________________________________

Un proceso estocástico se define sencillamente como una colección indexada de variables aleatorias { X1 }, donde el subíndice t toma valores de un conjunto T dado. Con frecuencia T se toma como el conjunto de enteros no negativos y X, representa una característica de interés medible en el tiempo t. Por ejemplo, el proceso estocástico, X1 , X2 , X3, .., Puede representar la colección de niveles de inventario semanales (o mensuales) de un producto dado, o puede representar la colección de demandas semanales (o mensuales) de este producto.

Un estudio del comportamiento de un sistema de operación durante algún periodo suele llevar al análisis de un proceso estocástico con la siguiente estructura. En puntos específicos del tiempo t , el sistema se encuentra exactamente en una de un número finito de estados mutuamente excluyentes y exhaustivos, etiquetados 0, 1, . . , S. Los periodos en el tiempo pueden encontrarse a intervalos iguales o su esparcimiento puede depender del comportamiento general del sistema en el que se encuentra sumergido el proceso estocástico. Aunque los estados pueden constituir una caracterización tanto cualitativa como cuantitativa del sistema, no hay pérdida de generalidad con las etiquetas numéricas 0, 1, . . , M , que se usarán en adelante para denotar los estados posibles del sistema. Así la representación matemática del sistema físico es la de un proceso estocástico {Xi}, en donde las variables aleatorias se observan en t = 0, 1, 2,. . ., y en donde cada variable aleatoria puede tomar el valor de cualquiera de los M + 1 enteros 0, 1, .. , M . Estos enteros son una caracterización de los M + 1 estados del proceso.

4.5 Propiedad Markoviana de 1o. orden .

________________________________________

Se dice que un proceso estocástico tiene la propiedad markoviana si

P { Xt+1 = j | X0 = K0 , X1 = K1 , . ., Xt-1 = Kt-1 , = Kt-1, Xt=1}= P {X t+1 | X1 = i }, para toda t = 0, 1, . . y toda

sucesión i, j , K0 , K1 , . . , Ki-1 .

Se puede demostrar que esta propiedad markoviana es equivalente a establecer una probabilidad condicional de cualquier "evento" futuro dados cualquier "evento " pasado y el estado actual Xi = i , es independiente del evento pasado y sólo depende del estado actual del proceso. Las probabilidades

condicionales P{Xt+1 = j | Xt = i} se llaman probabilidades de transición. Si para cada i y j,

P{ Xt+1 = j | | Xt = i } = p{X1 = j | X0 = i }, para toda t = 0, 1, ....

Entonces se dice que las probabilidades de transición (de un paso) son estacionarias y por lo general se denotan por pij . Así, tener probabilidades de transición estacionarias implican que las probabilidades de transición no cambian con el tiempo. La existencia de probabilidades de transición (de un paso) estacionarias también implica que, para cada i, j y n (n = 0, 1, 2,...),

P{ Xt+n = j | | Xt = i } = p{Xn = j | X0 = i },

Para toda t = 0, 1, . . . Estas probabilidades condicionales casi siempre se denotan por y se llaman probabilidades de transición de npasos. Así, es simplemente la probabilidad condicional de que la variable aleatoria X, comenzando

...