Cadenas de Márkov

[pic 1]        [pic 2]

Índice

Introducción ………………………………………………………………

4.1 Introducción a las cadenas de Márkov ………………………….

4.2 Probabilidad de transiciones estacionarias de n pasos …….

4.3 Estado estable ……………………………………………………….

4.4 Estados absorbentes ……………………………………………….

4.5 Software ………………………………………………………………

Conclusión ……………………………………………………………….

Referencias bibliográficas …………………………………………….

CADENAS DE MARCOV

Las cadenas de Márkov son un tipo especial de proceso estocástico que se utiliza en la Investigación de Operaciones para predecir eventos futuros basados en eventos previos. Esta herramienta matemática permite determinar los estados o las condiciones futuras utilizando análisis de Márkov y calcular las condiciones a largo plazo. Las cadenas de Márkov son ampliamente utilizadas en la Investigación de Operaciones para resolver problemas de planificación y toma de decisiones en una variedad de campos, como la ingeniería, la economía, la biología y la física.

4.1 Introducción a las cadenas de Markov

Las Cadenas de Markov son un concepto fundamental en la Investigación de Operaciones, una rama de las matemáticas aplicadas que busca resolver problemas de toma de decisiones en sistemas complejos.

Este enfoque se basa en el uso de modelos matemáticos y estadísticos para analizar y optimizar procesos. Las Cadenas de Markov proporcionan un marco poderoso para modelar sistemas estocásticos, donde la evolución del sistema depende solo del estado actual y no de la historia previa.

Los procesos de paseo aleatorio en realidad son un caso particular de procesos más generales que son las cadenas de Markov. En esencia, una cadena es un proceso en tiempo discreto en el que una variable aleatoria Xn va cambiando con el paso del tiempo.

Las cadenas de Markov tienen la propiedad de que la probabilidad de que Xn = j sólo depende del estado inmediatamente anterior del sistema: Xn−1. Cuando en una cadena dichas probabilidades no dependen del tiempo en que se considere, n,

[pic 3]

se denomina cadena homogénea, esto es, las probabilidades son las mismas en cada paso.

Probabilidades de Transición

En una cadena homogénea finita con m posibles estados E1, E2,...,Em se puede introducir la notación

[pic 4]

donde i, j = 1, 2, . . . ,m. Si Pij > 0 entonces se dice que el estado Ei puede comunicar con Ej. La comunicación puede ser mutua si también Pji > 0.

Para cada i fijo, la serie de valores {Pij} es una distribución de probabilidad, ya que en cualquier paso puede ocurrir alguno de los sucesos E1, E2,...,Em y son mutuamente excluyentes.

Los valores Pij se denominan probabilidades de transición que satisfacen la condición[pic 5]

para cada i = 1, 2, . . . , m. Todos estos valores se combinan formando una matriz de transición T de tamaño m × m, donde

[pic 6]

Se puede observar que cada fila de la matriz es una distribución de probabilidad, es decir,

[pic 7]

Observación.

Si las matrices A = [aij] y B = [bij] son matrices estocásticas, entonces C = A · B es también estocástica.

Por la regla de multiplicación de matrices,

[pic 8]

De este modo

[pic 9]

Una consecuencia es que cualquier potencia de la matriz T es también una matriz estocástica: Tn.

[pic 10]

Probabilidad

Una probabilidad de bastante interés es la probabilidad de llegar a Ej después de n pasos, dada una distribución de probabilidad

[pic 11]

[pic 12]

Se observa que es la probabilidad de que el sistema ocupe

inicialmente el estado Ei, de modo que

[pic 13]

[pic 14]

Si se denomina a la probabilidad de alcanzar Ej en un solo paso, entonces, por el teorema de probabilidad total

[pic 15]

Esto se puede expresar de forma vectorial: sean p(0) y p(1) los vectores fila de probabilidad dados por

[pic 16][pic 17]

donde p (0) es la distribución de probabilidad inicial y p (1) es la probabilidad de que se alcance cada uno de los estados E1,...,Em después de un paso. Con esta notación, se puede expresar

[pic 18]

donde T es la matriz de transición.

Del mismo modo,

[pic 19]

[pic 20]

NOTA: es la probabilidad incondicional de estar en el estado Ej en el n- ésimo paso, dado que la probabilidad inicial es p(0), esto es,

[pic 21]

Que es tal que [pic 22]

4.2 Probabilidad de transiciones estacionarias en n de pasos

[pic 23]

Se define   como la probabilidad de que la cadena esté en el estado Ej después de n pasos, dado que la cadena empezó en el estado Ei. Se tiene que

[pic 24]

por la propiedad markoviana se tiene que[pic 25]

para n ≥ 2, ya que la cadena debe haber pasado por uno de los m posibles estados en la etapa n − 1.

Si se sustituye

[pic 27]

Entonces

[pic 28]

usando la propiedad markoviana nuevamente. La ecuación anterior se denomina de Chapman-Kolmogorov.

Haciendo n igual a 2, 3,... se obtiene que las matrices con esos elementos son[pic 29]

[pic 30]

ya que son los elementos de T2 y así sucesivamente. Así,

[pic 31]

Ejemplo.

En una cierta región el tiempo atmosférico sigue la siguiente secuencia: Un día se denomina soleado (S) si el sol luce más de la mitad del día, y se denomina nublado (N), si lo hace menos. Por experiencia, se sabe que, si hay un día nublado, es igual de probable que el día siguiente sea también nublado. Si el día es soleado hay una probabilidad de 2/3 de que sea también soleado.

1. Construye la matriz de transición T de este proceso.

1. Si hoy está nublado, ¿cuál es la probabilidad de que dentro de tres días esté también nublado? ¿y de que esté soleado?

1. Calcula T5 y T10. ¿Cuál es el comportamiento de T n cuando n → ∞? ¿Cómo se comporta p(n) cuando n → ∞? ¿Depende el límite de p(0)?

(1) Asumimos que el proceso es markoviamo y que el tiempo sólo depende del día anterior. Se tiene una cadena de Markov con dos estados:

E1 ≡ Día nublado N, E2 ≡ Día soleado S. La matriz de transición es:

[pic 32]

es decir,[pic 33]

(2) Empezando los pasos a partir del día actual, se tiene que

[pic 34]

De este modo, si hoy está nublado, dentro de tres días, se tiene que

[pic 35]

[pic 36]

Así, la probabilidad de que haya un día nublado en el tercer día es            [pic 37]

y que sea soleado es

(3)[pic 38]

...