Cadenas De Markov

Cadenas de Markov

A los modelos de probabilidad de procesos que evolucionan en el tiempo de una manera probabilística se les llaman procesos estocásticos.

Las cadenas de Markov tienen la propiedad particular de que las probabilidades que describen la forma en que el proceso evolucionará en el futuro dependen solo del estado actual en que se encuentra el proceso, y por tanto, son independientes de los eventos que ocurrieron el pasado.

Procesos estocásticos

Un proceso estocástico se define como la colección indexada de variables aleatorias {Xt}, donde el índice t toma valores de un conjunto T dado. Con frecuencia T se considera el conjunto de enteros no negativos mientras que Xt representa una característica de interés cuantificable en el tiempo t.

Los procesos estocásticos son de interés para describir el comportamiento de un sistema en operación durante algunos periodos. Un proceso estocástico tiene la siguiente estructura:

• La condición actual del sistema puede estar en una de M+1 categorías mutuamente excluyentes llamadas estados. Por conveniencia de la notación, estos estados se etiquetan 0, 1,1,…, M. La variable aleatoria Xt representa el estado en el tiempo t, de manera que sus únicos valores posibles son 0,1,…,M. el sistema se observa en puntos del tiempo dados, etiquetados t=0,1,2,… De esta forma los procesos estocásticos {Xt}= {X0, X1, X2,…} proporcionan una representación matemática de la forma en que evoluciona la condición del sistema físico a través del tiempo.

Este tipo de procesos se conocen como procesos estocásticos de tiempo discreto con espacio de estados finito.

Ejemplo de clima

El clima en el pueblo de Centerville puede cambiar con rapidez de un día a otro. Sin embargo, las probabilidades de tener clima seco (sin lluvia) mañana es de alguna forma mayor si hoy está seco, es decir, si no llueve. En particular, la probabilidad de que mañana este seco es de 0.8 si hoy está seco, pero es de 0.6 si hoy llueve. Estas probabilidades no cambian si se considera la información acerca del clima en los días anteriores a hoy.

La evolución del clima día tras día en Centerville es un proceso estocástico. Si se comienza en algún día inicial (etiquetado como día 0), el clima se observa cada día t, para t= 0, 1, 2,… El estado del sistema en el día t puede ser

• Estado 0 = El día t es seco

O bien

• Estado 1 = El día t es lluvioso

Así, para t = 0, 1, 2,…, la variable aleatoria Xt toma los valores.

El proceso estocástico { Xt} = { X0, X1, X2,…} proporciona una representación matemática de la forma en que evoluciona el clima en Centerville a través del tiempo.

Cadenas de Markov

Es necesario hacer algunos supuestos sobre la distribución conjunta de X0. X1,… para obtener resultados analíticos. Un supuesto que conduce al manejo analítico es que el proceso estocástico es una cadena de Markov, que tiene la siguiente propiedad esencial:

En palabras, esta propiedad markoviana establece que la probabilidad condicional de cualquier “evento” futuro dados cualquier “evento” pasado y el estado actual Xt = i, es independiente de los eventos pasados y sólo depende del estado actual del proceso.

• Un proceso estocástico { Xt} = (t = 0, 1, …) es una cadena de Markov si presenta la propiedad markoviana.

Las probabilidades condicionales P{ Xt+1= i} = j| Xt= i} de una cadena de Markov se llaman probabilidades de transición (de un paso). Si para cada i y j.

Entonces se dice que las probabilidades de transición (de un paso) son estacionarias. Así, tener probabilidades de transición estacionarias implica que las probabilidades de transición no cambian con el tiempo. La existencia de probabilidades de transición (de un paso) estacionarias implica que, para cada i,j y n (n = o, 1, 2, …).

Para toda t= 0, 1,… Estas probabilidades condicionales se llaman probabilidades de transición de n pasos.

Para simplificar la notación de las probabilidades de transición estacionarias sea

Así, las probabilidades de transición de n son simplemente la probabilidad condicional de que el sistema se encuentre en el estado j exactamente después de n pasos (unidades de tiempo), dado que comenzó en el estado i en cualquier tiempo t. cuando n = 1 observe que

Como las son probabilidades condicionales, deben ser negativas y, como el proceso debe hacer una transición a algún estado, deben satisfacer las propiedades

Una notación conveniente para representar las probabilidades de transición de n pasos es la matriz de transición de n pasos.

Observe que la probabilidad de transición en un renglón y columna dados es la transición del estado de ese renglón al estado en la columna. Cuando n = 1, el superíndice n no se escribe y se hace referencia a ésta como una matriz de transición.

Las cadenas de Markov tienen las siguientes propiedades:

1. Un número finito de estados.

2. Probabilidades de transición estacionarias.

También se supondrá que conocen las probabilidades iniciales P{ X0= i} para toda i.

Formulación del ejemplo del clima con una cadena de Markov

En ejemplo del clima que se presentó en la sección anterior, recuerde que la evolución del clima día tras día en Centerville se ha formulado con un proceso estocástico { Xt} = (t = 0, 1, 2,…) donde

Aun mas, como estas probabilidades no cambian si también se toma en cuenta la información del clima antes del día de hoy (día t).

Para t = 0, 1, … y toda ecuación k0, k1,…,kt-1. Estas ecuaciones también deben cumplirse si Xt+1= 0 se reemplaza con Xt+1= 1. (El rezón es que los estados 0 y 1 son mutuamente excluyentes y son los únicos estados posibles; por ende, las probabilidades de los dos estados deben sumar 1). Por lo tanto, el proceso estocástico tiene la probabilidad markoviana, lo que lo convierte en una cadena de Markov.

Si se usa la notación que se introdujo en esta sección, las probabilidades de transición (de un paso) son

Pata toda t = 1, 2,… por lo que estas son las probabilidades de transición estacionaria. Además.

Por lo tanto, la matriz de transición es

Donde estas posibilidades de transición se refieren a la transición del estado del renglón al estado de la columna. Tenga en mente que el estado 0 hace referencia a un día seco, mientras que el estado 1 significa que el día es lluvioso, así que estas probabilidades de transición proporcionan la probabilidad del estado del clima el día de mañana, dado el estado del clima del día de hoy.

El diagrama de transición de la figura representa de manera gráfica la misma información que proporciona la matriz de transición. Los nodos representan los dos estados posibles del clima, mientras que las flechas muestran las transiciones posibles de un día al siguiente (se incluye la opción de regresar al mismo estado). Cada una de las posibilidades de transición se escribe a continuación de la flecha correspondiente.

Ecuaciones de Chapman-Kolmogorov

Se introdujo la probabilidad de transición de n pasos Las ecuaciones de Chapman-Kolmogorov proporcionan un método para calcular estas probabilidades de transición de n pasos:

Estas ecuaciones simplemente señalan que ir del estado j en n pasos, el proceso estará en algún estado k después de exactamente m (menor que n) pasos. Así es solo la probabilidad condicional que, si comienza en el estado i, el proceso vaya al estado k después de m pasos y después al estado j en n-m. Por lo tanto al resumir estas posibilidades condicionales sobre todos los estados posibles k se debe obtener . Los casos especiales de m=1 y m=n-1 conducen a las expresiones.

Para todos los estados i y j. estas expresiones permiten que las probabilidades de transición de n pasos se puedan obtener a partir de las probabilidades de transición de un paso de manera recursiva. Esta relación recursiva se explica mejor con la notación matricial. Para n=2, estas expresiones se convierten en

Don de las son los elementos de P. También note que estos elementos se obtiene al multiplicar la matriz de transición de un paso por sí misma; esto es:

P(2)=(P)(P)= P2

De la misma manera, las expresiones anteriores a cuando m=1 y m=n-1 indican que la matriz de probabilidades de transición de n pasos es

Matrices de transición de n pasos del ejemplo del clima

Se usaran las formulas anteriores para calcular las diferentes matrices de transición de n pasos a partir de la matriz de transición P (de un paso).

Así si el clima está en el estado 0 (seco) en un día particular, la posibilidad de estar en el estado 0 dos días después es 0.76, por lo que la probabilidad de estar en el estado 1 (lluvia) es 0.24. En forma similar, si el clima está en el estado 1 ahora, la probabilidad de estar en el estado 0 dos días después de 0.72 mientras q la probabilidad de estar en el estado 1 es 0.28.

Las probabilidades del estado del clima tres, cuatro o cinco días a futuro también se pueden

...