Cadenas De Markov

Clasificación de estados en una cadena de Markov

Introducción

Algunas veces se está interesado en cómo cambia una variable aleatoria con el tiempo. El estudio de este cambio incluye procesos estocásticos. Un tipo de proceso estocástico son las cadenas de Markov.

Al usar el análisis de las cadenas de Markov se estudia el comportamiento del sistema ya se en un periodo corto o a largo plazo. Este último se realiza cuando el número de transiciones tiende a infinito. En tal caso es necesario encontrar un procedimiento sistemático que prediga el comportamiento del sistema en un periodo largo de tiempo.

En el presente trabajo se aborda el tema de la clasificación de los estados en las cadenas de Markov que son útiles en el estudio del comportamiento del sistema a largo plazo.

Clasificación de estados en una cadena de Markov

Se dice que le estado j es accesible desde el estado i si p_ij^((n))>0 para alguna n≥0. Donde p_ij^((n)) es sólo la probabilidad condicional de llegar al estado j después de n pasos, si el sistema está en el estado j. Entonces, que el estado j sea accesible desde el estado i significa que es posible que el sistema llegue finalmente al estado j si comienza en el estado i.

Si el estado j es accesible desde el estado i y el estado i es accesible desde el estado j, entonces se dice que los estados i y j se comunican.

En general:

Cualquier estado se comunica consigo mismo (porque

p_ii^((0))=P{X_0=i|X_0=i }=1).

Si el estado i se comunica con el estado j, entonces el estado j se comunica con el estado i.

Si el estado i se comunica con el estado j y éste con el estado k, entonces el estado i se comunica con el estado k.

Las propiedades 1 y 2 se deducen de la definición de estados que se comunican, mientras que la propiedad 3 se derivan de las ecuaciones de Chapman-Kolmogorov.

Como resultado de estas propiedades de comunicación se puede hacer una partición del espacio de estados en clases separadas, donde se dice que dos estados que se comunican pertenecen a la misma clase. (Una clase puede consistir en un solo estado.) Si existe sólo una clase, es decir, si todos los estados se comunican, se dice que la cadena de Markov es irreducible.

Considere el siguiente diagrama de transición de estados (ejemplo del clima, pág. 678 Hillier-Lieberman, 9ª Ed.):

Todos los estados son accesibles y se comunican. Entonces, la Cadena de Markov es irreducible.

El siguiente diagrama de transición de estado de un ejemplo de juegos (pág. 681) el estado 2 no es accesible desde el estado 3. Entonces, los estados 2 y 3 no se comunican. Contiene tres clases, el estado 0 forma una clase, el estado 3 forma otra y los estados 1 y 2 forman una tercera clase.

Estados recurrentes y estados transitorios

Con frecuencia es útil saber si un proceso que comienza en un estado regresará alguna vez a él. La siguiente es una posibilidad.

Un estado se llama estado transitorio si, después de haber entrado a este estado, el proceso nunca regresa a él. Por consiguiente, el estado i es transitorio si y sólo si existe un estado j (j ≠ i) que es accesible desde el estado i, pero no viceversa, esto es, el estado i no es accesible desde el estado j.

Así, si el estado i es transitorio y el proceso visita este estado, existe una probabilidad (quizás de 1) de que el proceso se moverá al estado j y que nunca regresará al estado i. En consecuencia un estado transitorio será visitado sólo un número

...