Ensayo Cadenas De Marck

Cadenas de Markov

1. Introducción y Ejemplos

Se dice que un proceso estocástico {Xt} a “tiempo discreto” tiene la propiedad Markoviana, si la “probabilidad condicional de que mañana el proceso se encuentre en un determinado estado, dado los estados del proceso hoy y los días anteriores, sólo depende del estado del proceso hoy”. ( dados el presente y el pasado, la probabilidad del mañana sólo depende del presente).

Esto se escribe así:

P{ X t+1 = j / Xo = eo , X1 = e1 , X2 = e2 , . . . , Xt = i } = P{ X t+1 = j / Xt = i }

= pij(t)

pij(t) = probabilidad de que el proceso, estando en el estado i en el instante t, pase al estado

j en el instante siguiente.

A los pij(t) se les llama probabilidades de transición y cuando estas no dependen de t, se dice que las probabilidades de transición son estacionarias y se escriben pij .

Cuando un proceso estocástico sólo pueda tomar un conjunto finito de estados y satisfaga la propiedad markoviana con probabilidades de transición estacionarias, entonces llamaremos al proceso Cadena de Markov . A la matriz P = (pij ) se le denomina matriz de transición . Observemos que para toda matriz de transición debe cumplirse:

1) pij ( 0

2) para cada i (para cada fila) se cumple: pi1 + pi2 + . . . + pik = 1

Ejemplo 1:

En el tiempo 0 tengo Bs 20.000 y en los tiempos 1 ,2 ,3 .... participo en un juego en el que apuesto Bs 10.000. Gano el juego (y gano Bs 10.000) con probabilidad p y lo pierdo (perdiendo lo apostado: Bs 10.000) con probabilidad 1-p . Mi meta es aumentar mi capital hasta Bs 40.000 y tan pronto como lo logre, me salgo del juego. También salgo cuando me arruine (capital igual a Bs 0). Se define

Xt : mi capital después del juego realizado en el tiempo t

Estados del proceso = { 0 , 20.000 , 30.000 , 40.000 }

1 1

p p p

1-p 1-p 1-p

La matriz de transición viene dada por:

| |Estado 0 |Estado 1 |Estado 2 |Estado 3 |Estado 4 |

|Estado 0 |1 |0 |0 |0 |0 |

|Estado 1 |1-p |0 |p |0 |0 |

|Estado 2 |0 |1-p |0 |p |0 |

|Estado 3 |0 |0 |1-p |0 |p |

|Estado 4 |0 |0 |0 |0 |1 |

Ejemplo 2

Consideremos el siguiente modelo para el valor de una acción.

Al final de un día dado se registra el precio y el que la acción suba o no mañana depende de si subió o no hoy y ayer. En particular, si la acción subió los dos días, la probabilidad de que suba mañana es 0,9. Si la acción subió hoy pero ayer bajo, mañana subirá con probabilidad 0,6. Si la acción bajó hoy pero ayer subió ayer entonces mañana subirá con probailidad de 0,5. Por último, si bajó los dos días, la probabilidad de que suba mañana es de 0,3. Se definen los siguientes estados:

Estado 0 : la acción subió hoy y ayer. ( + + )

Estado 1 : la acción aumentó hoy pero ayer bajó. ( - + )

Estado 2 : la acción bajó hoy pero ayer subió. ( + - )

Estado 3 : la acción bajó hoy y ayer. ( - - )

La matriz de transición es:

| |Estado 0 |Estado 1 |Estado 2 |Estado 3 |

|Estado 0 |0,9 |0 |0,1 |0 |

|Estado 1 |0,6 |0 |0,4 |0 |

|Estado 2 |0 |0,5 |0 |0,5 |

|Estado 3 |0 |0,3 |0 |0,7 |

Ejemplo 3

Se tiene un sistema de inventario en el que la secuencia de eventos es como sigue:

1) Al principio del período (por ejemplo, al principio de la semana) se observa el nivel de inventario , digamos i

2) Si i ( 1 , se piden (reposición) 4-i unidades. Si i ( 2 no se hace ningún pedido (no se repone el inventario). La reposición es inmediata

3) Durante el periodo, no se piden (demanda) artículos con probabilidad 0,5 ; se pide (demanda) un artículo con probabilidad 0,3 y se piden (demanda) dos artículos con probabilidad 0,2.

4) Se observa el nivel de inventario al principio del siguiente período.

Si al principio de la semana (“antes de abrir el negocio”) se observa un artículo en inventario, entonces se reponen tres artículos de inmediato y comienzo la semana (abro el negocio) con cuatro artículos. Durante el la semana, pueden solicitar 0, 1 o 2 artículos por lo que al principio de la próxima semana (“antes de abrir el negocio”) podría haber en inventario 4 , 3 o 2 artículos. Razonando de esta manera, obtenemos la matriz de transición:

| |Estado 0 |Estado 1 |Estado 2 |Estado 3 |Estado 4 |

|Estado 0 |0 |0 |0,2 |0,3 |0,5 |

|Estado 1 |0 |0 |0,2 |0,3 |0,5 |

|Estado 2 |0,2 |0,3 |0,5 |0 |0 |

|Estado 3 |0 |0,2 |0,3 |0,5 |0 |

|Estado 4 |0 |0 |0,2 |0,3 |0,5 |

Ejemplo 4

En un determinado país, una familia puede clasificarse como habitante de zona urbana, rural o suburbana. Se ha estimado que durante un año cualquiera, el 15% de todas las familias urbanas se cambian a una zona suburbana y el 5% se cambian a una zona rural. Por otra parte, el 6% de las familas suburbanas pasan a zona urbana y el 4% se mudan a zona rural. Por último, el 4% de las familias rurales pasan a una zona urbana y el 6% se mudan a una zona suburbana.

a) Si una famila vive una zona urbana, ¿cuál es la probabilidad que después de 2 años viva en una zona suburbana?

b) Supongamos que en la actualidad el 40% de las familias viven zona urbana, el 35% en zona suburbana y el 25% en zona rural. Después de dos años, ¿qué porcentaje de las familias vivirá en zonas suburbanas?

Por ahora sólo vamos a escribir la matriz de transición correspondiente

| |Zona Rural |Zona Suburbana |Zona Urbana |

|Zona Rural |0,90 |0,06 |0,04 |

|Zona Suburbana |0,04 |0.90 |0,06 |

|Zona Urbana |0,05 |0,15 |0,80 |

2. Probabilidades de transición en n etapas (pasos)

Pregunta interesante: Si en el tiempo t la Cadena de Markov, se encuentra en el estado i ¿cuál es la probabilidad que n pasos después se encuentre en en el estado j ?

P{ Xt+n = j / Xt = i } = P{ Xn = j / Xo = i } (estacionaria)

= pnij (notación)

Supongamos que la Cadena de Markov tiene k + 1 estados ( desde el estado 0 hasta el estado k), veamos el caso mas sencillo de dos pasos: el sistema se encuentra en el estado i en el presente (tiempo 0) y se encuentra en estado j dos pasos después,

P{ X2 = j / X0 = i } = [pic] =

[pic] + [pic] + ...+ [pic] =

= [pic] +

[pic] +

.

.

+ [pic]

= P{X1 = 0 / Xo = i}P{X2 = j / Xo = i , X1 = 0}

+ P{X1 = 1 / Xo = i}P{X2 = j / Xo = i ,X1 = 1}

.

.

+ P{X1 = k / Xo = i}P{X2 = j / Xo = i ,X1 = k}

...