Cadenas De Markov

Las cadenas de markov son modelos probabilísticos que se usan para predecir la evolución y el comportamiento a corto y a largo plazo de determinados sistemas.

Ejemplos: reparto del mercado entre marcas; dinámica de las averías de máquinas para decidir política de mantenimiento; evolución de una enfermedad

Una Cadena de Markov (CM) es

• Un proceso estocástico

• Con un número finito de estados (M)

• Con probabilidades de transición estacionarias

• Que tiene la propiedad markoviana.

PROCESO ESTOCÁSTICO

Es un conjunto o sucesión de variables aleatorias: {X(t)CG } definidas en un mismo espacio de probabilidad. Normalmente el índice t representa un tiempo y X(t) el estado del proceso estocástico en el instante t. El proceso puede ser de tiempo discreto o continuo si G es discreto o continuo. Si el proceso es de tiempo discreto, usamos enteros para representar el índice: {X1,X2, ...}

Ejemplos de procesos estocásticos

1.Serie mensual de ventas de un producto

2. Estado de una máquina al final de cada semana (funciona/averiada)

3. Nº de clientes esperando en una cola cada 30 segundos

4. Marca de detergente que compra un consumidor cada vez que hace la compra. Se supone que existen 7 marcas diferentes

5. Nº de unidades en almacén al finalizar la semana

ELEMENTOS DE UNA CADENA DE MARKOV

• Un conjunto finito de M estados, exhaustivos y mutuamente excluyentes (ejemplo: estados de la enfermedad)

• Ciclo de markov (“paso”) : periodo de tiempo que sirve de base para examinar las transiciones entre estados (ejemplo, un mes)

• Probabilidades de transición entre estados, en un ciclo (matriz P)

• Distribución inicial del sistema entre los M estados posibles

Conceptos más utilizados

• Operaciones con matrices:

o Suma-resta

o Multiplicación

o Traspuesta

o Inversa (Gauss-Jordan)

• Probabilidad

o Teoría de la probabilidad

Cadenas de markov con estados recurrentes

En esta clase de estados, habrá una distribución de suma de probabilidades que al correr del tiempo llegarán a un estado en el cual no sufrirá más modificaciones, es decir, se llegará a un estado estable.

Para tener una idea más clara sobre éste concepto, se muestra el siguiente ejemplo:

Tres laboratorios farmacéuticos (A,B y C) que compiten en un principio activo (mismo conjunto homogéneo en la orden de precios de referencia). Hoy sus cuotas de mercado son 30%, 20% y 50% respectivamente:

Este es un ejemplo de cadena de Markov irreductible y ergódica. Todos los estados sonrecurrentes y están comunicados entre sí, formando una sola clase. Hay solución de estado estable (reparto del mercado a largo plazo, independiente de la situación inicial).

En principio se debe tener presente a la matriz Po o la actual:

Siendo 0.3 la de A, 0.2 la de B y 0.5 la de C

Al multiplicar la matriz de transición con la matriz Po se irán generando las distintas distribuciones al correr el tiempo, como se muestra a continuación:

Existe otra forma de resolver esta clase de estados, llegando simplemente a la matriz estable, sin tener que hallar los demás Pn.

Haciendo L=[x y z]

LT=L

nos quedaría el siguiente sistema de ecuaciones

0.8x + 0.15y + 0.13z = x

0.1x + 0.82y + 0.12z = y

0.1x + 0.03 y + 0.75z = z

x + y + z = 1

Ésta última ecuación se coloca debido a que se debe complicar que la suma de las probabilidades debes ser exactamente igual a 1.

Al resolver este sistema de ecuaciones por el método que más le guste, obtendrá los mismos resultados de la matriz estable, es decir:

x=0.4165

y=0.3722

z=0.21131

Por lo que este método es práctico para los resultados a largo plazo.

Tomado de : Clase de investigación de operaciones dada por el Ingeniero Industrial Medardo González

www.ulpgc.es/descargadirecta.php?codigo_archivo=14483

Cadenas de Markov con estados absorbentes

A diferencia de los estados recurrentes, los estados absorbentes tendrás sumas de probabilidades que con el correr del tiempo llegarán a ser cero, todo esto debido a que hay estados que tiene probabilidad 1 y por ende los demás estados tenderán a llegar a esta clase de estados .

Para tener una idea más clara sobre éste concepto, se muestra el siguiente ejemplo:

La empresa jurídica Angie Montero, emplea 3 tipos de abogados: subalternos, superiores y socios. Durante cierto año el 10% de los subalternos ascienden a superiores y a un 10% se les pide que abandonen la empresa. Durante un año cualquiera un 5% de los superiores ascienden a socios y a un 13% se les pide la renuncia. Los abogados subalternos deben ascender a superiores antes de llegar a socios. Los abogados que no se desempeñan adecuadamente, jamás descienden de categoría.

a) Forme la matriz de transición T

b) Determine si T es regular, absorbente o ninguna de las 2.

c) Calcule la probabilidad de que un abogado subalterno llegue a socio

d) ¿Cuánto tiempo deberá permanecer en su categoría un abogado subalterno recién contratado?

e) ¿Cuánto tiempo deberá permanecer en la empresa un abogado subalterno recién contratado?

f) Calcule la probabilidad de que un abogado superior llegue a socio.

a) Se hace la matriz

...