Cadenas De Markov

Las cadenas de markov son modelos probabilísticos que se usan para predecir la evolución y el comportamiento a corto y a largo plazo de determinados sistemas.

Ejemplos: reparto del mercado entre marcas; dinámica de las averías de máquinas para decidir política de mantenimiento; evolución de una enfermedad

Una Cadena de Markov (CM) es

• Un proceso estocástico

• Con un número finito de estados (M)

• Con probabilidades de transición estacionarias

• Que tiene la propiedad markoviana.

PROCESO ESTOCÁSTICO

Es un conjunto o sucesión de variables aleatorias: {X(t)CG } definidas en un mismo espacio de probabilidad. Normalmente el índice t representa un tiempo y X(t) el estado del proceso estocástico en el instante t. El proceso puede ser de tiempo discreto o continuo si G es discreto o continuo. Si el proceso es de tiempo discreto, usamos enteros para representar el índice: {X1,X2, ...}

Ejemplos de procesos estocásticos

1.Serie mensual de ventas de un producto

2. Estado de una máquina al final de cada semana (funciona/averiada)

3. Nº de clientes esperando en una cola cada 30 segundos

4. Marca de detergente que compra un consumidor cada vez que hace la compra. Se supone que existen 7 marcas diferentes

5. Nº de unidades en almacén al finalizar la semana

ELEMENTOS DE UNA CADENA DE MARKOV

• Un conjunto finito de M estados, exhaustivos y mutuamente excluyentes (ejemplo: estados de la enfermedad)

• Ciclo de markov (“paso”) : periodo de tiempo que sirve de base para examinar las transiciones entre estados (ejemplo, un mes)

• Probabilidades de transición entre estados, en un ciclo (matriz P)

• Distribución inicial del sistema entre los M estados posibles

Conceptos más utilizados

• Operaciones con matrices:

o Suma-resta

o Multiplicación

o Traspuesta

o Inversa (Gauss-Jordan)

• Probabilidad

o Teoría de la probabilidad

Cadenas de markov con estados recurrentes

En esta clase de estados, habrá una distribución de suma de probabilidades que al correr del tiempo llegarán a un estado en el cual no sufrirá más modificaciones, es decir, se llegará a un estado estable.

Para tener una idea más clara sobre éste concepto, se muestra el siguiente ejemplo:

Tres laboratorios farmacéuticos (A,B y C) que compiten en un principio activo (mismo conjunto homogéneo en la orden de precios de referencia). Hoy sus cuotas de mercado son 30%, 20% y 50% respectivamente:

Este es un ejemplo de cadena de Markov irreductible y ergódica. Todos los estados sonrecurrentes y están comunicados entre sí, formando una sola clase. Hay solución de estado estable (reparto del mercado a largo plazo, independiente de la situación inicial).

En principio se debe tener presente a la matriz Po o la actual:

Siendo 0.3 la de A, 0.2 la de B y 0.5 la de C

Al multiplicar la matriz de transición con la matriz Po se irán generando las distintas distribuciones al correr el tiempo, como se muestra a continuación:

Existe otra forma de resolver esta clase de estados, llegando simplemente a la matriz estable, sin tener que hallar los demás Pn.

Haciendo L=[x y z]

LT=L

nos quedaría el siguiente sistema de ecuaciones

0.8x + 0.15y + 0.13z = x

0.1x + 0.82y + 0.12z = y

0.1x + 0.03 y + 0.75z = z

x + y + z = 1

Ésta última ecuación se coloca debido a que se debe complicar que la suma de las probabilidades debes ser exactamente igual a 1.

Al resolver este sistema de ecuaciones por el método que más le guste, obtendrá los mismos resultados de la matriz estable, es decir:

x=0.4165

y=0.3722

z=0.21131

Por lo que este método es práctico para los resultados a largo plazo.

Tomado de : Clase de investigación de operaciones dada por el Ingeniero Industrial Medardo González

www.ulpgc.es/descargadirecta.php?codigo_archivo=14483

Cadenas de Markov con estados absorbentes

A diferencia de los estados recurrentes, los estados absorbentes tendrás sumas de probabilidades que con el correr del tiempo llegarán a ser cero, todo esto debido a que hay estados que tiene probabilidad 1 y por ende los demás estados tenderán a llegar a esta clase de estados .

Para tener una idea más clara sobre éste concepto, se muestra el siguiente ejemplo:

La empresa jurídica Angie Montero, emplea 3 tipos de abogados: subalternos, superiores y socios. Durante cierto año el 10% de los subalternos ascienden a superiores y a un 10% se les pide que abandonen la empresa. Durante un año cualquiera un 5% de los superiores ascienden a socios y a un 13% se les pide la renuncia. Los abogados subalternos deben ascender a superiores antes de llegar a socios. Los abogados que no se desempeñan adecuadamente, jamás descienden de categoría.

...