Cadena De Markov

¿A qué se le conoce como “Cadena de Markov”?

Es un proceso que esta caracterizado por tener un conjunto de variables aleatorias, en el que la probabilidad de que ocurra un evento depende del evento anterior. Se recuerda el último evento y esto condiciona las posibilidades de los eventos futuros.

Una cadena de Markov es una sucesión de ensayos similares u observaciones en la cual cada ensayo tiene el mismo número finito de resultados posibles y en donde la probabilidad de cada resultado para un ensayo dado, depende sólo del resultado del ensayo inmediatamente precedente y no de cualquier resultado previo.

Una cadena de Markov es una secuencia “X1, X2, X3,...” de variables aleatorias. El rango de estas variables, es llamado “espacio estado”. El valor de “Xn “ es el estado del proceso en el tiempo “n”. Si la distribución de probabilidad condicional de “Xn+1 “ en estados pasados es una función de “Xn “por sí sola, entonces:

Donde “xi “es el estado del proceso en el instante “i” .

PROPIEDAD DE MARKOV

El estado en t + 1 sólo depende del estado en t y no de la evolución anterior del sistema.

MATRIZ DE TRANSICIÓN

La forma más cómoda de expresar la ley de probabilidad condicional de una cadena de Markov es mediante la llamada matriz de probabilidades de transición P, o más sencillamente, matriz de la cadena.

Dicha matriz es cuadrada con tantas filas y columnas como estados tiene el sistema, y los elementos de la matriz representan la probabilidad de que el estado próximo sea el correspondiente a la columna si el estado actual es el correspondiente a la fila.

Como el sistema debe evolucionar de “t” a alguno de los “n” estados posibles, las probabilidades de transición cumplirán con la propiedad siguiente:

Además, por definición de probabilidad, cada una de ellas ha de ser no negativa:

Explicación en un problema:

Consideremos una población distribuida entre n = 3 estados, que llamaremos estado 1, estado 2 y estado 3. Se supone que conocemos la proporción

“tij “de la población del estado “i”, que se mueve al estado “j” en determinado período de tiempo fijo.

La matriz T = (tij) se llama matriz de transición.

Supongamos que la población de un país, está clasificada de acuerdo con los ingresos en

Estado 1: pobre

Estado 2: ingresos medios

Estado 3: rico

Supongamos que en cada período de 20 años tenemos los siguientes datos para la población y su descendencia:

De la gente pobre, el 19% pasó a ingresos medios, y el 1% a rica;

De la gente con ingresos medios, el 15% pasó a pobre, y el 10% a rica;

De la gente rica, el 5% paso a pobre, y el 30%, a ingresos medios.

Podemos armar una matriz de transición de la siguiente manera:

Estado final: pasa a nuevo estado en 20 años

Estado inicial: Pobre Medio Rico

Pobre .80 .19 .01

Medio .15 .75 .10

Rico .05 .30 .65

Pobre medio rico

T = Pobre .08 .19 .01

Medio .15 .75 .10

Rico .05 .30 .65

Obsérvese que:

1) las entradas de la diagonal de la matriz representa la proporción de la población que no cambia de estado en un período de 20 años;

2) un registro de la matriz da la proporción de la población del estado izquierdo del registro que pasa al estado derecho del registro en un período de 20 años.

3) la suma de los registros de cada fila de la matriz T es 1, pues la suma refleja el movimiento de toda la población para el estado relacionado en la parte izquierda de la fila.

Otra forma de presentación de un proceso y su correspondiente matriz de transición.

Donde la i representa el estado inicial de una transición, j representa el estado final de una transición, Pij representa la probabilidad de que el sistema estando en un estado i pase a un estado j.

EJERCICIO:

El ascensor de un edificio con bajo y dos pisos realiza viajes de

...