Cadenas Markov

Guía – Cadenas de Markov

1. Considere un ratón ubicado en un tablero con nueve compartimentos dispuestos de la siguiente forma:

1 2 3

4 5 6

7 8 9

El ratón se mueve de un compartimiento a otro en forma aleatoria (por ejemplo si tiene k compartimientos contiguos, escoge uno de ellos con probabilidad 1/k). Sea Xn el número de del compartimiento en que se encuentra el ratón después de la movida número n. Obtenga la matriz de probabilidades de transición.

2. Juan y Pedro tienen dos monedas cada uno. Se disponen a enfrentar un juego en que, en cada oportunidad, cada jugador lanza una de sus monedas. Si ambas coinciden, gana Juan y se queda con la moneda de Pedro. En caso contrario, gana Pedro. El juego termina cuando uno de los jugadores tiene las cuatro monedas. Obtenga la matriz de probabilidades de transición para la cantidad de monedas que tiene cada jugador.

3. Una tienda tiene en su almacén un modelo especial de cámara que se puede ordenar cada semana al proveedor. Sean D1, D2, …. Las demandas de esta cámara durante la primera, segunda,…, semana, respectivamente. Se supone que las d son v. a. i. e idénticamente distribuidas con una distribución conocida. Sea X0 el número de cámaras que se tiene al iniciar el proceso, X1 el número de cámaras que se tiene al final de la semana uno, X2 el número de cámaras que se tiene al final de la semana dos, etc. Suponga que X0 = 3. El sábado en la noche la tienda hace un pedido que le entregan en el momento de abrir la tienda el día lunes. La tienda usa como política de orden: si el número de cámaras en inventario al final de la semana es menor a uno (no hay cámara), ordena 3 cámaras. De otra manera, no hace un nuevo pedido. Si Xt es el número de cámaras de en el almacén al final de la semana t, y además:

Xt+1 = Máx {(3 – Dt+1), 0} si Xt < 1; o bien

Xt+1 = Máx {(Xt – Dt+1), 0} si Xt >= 1

Donde Dt tiene una distribución de Poisson con parámetro  = 1. Determine la matriz de transición de un paso. La función de probabilidad de Poisson es P(X=x) = [e-t (t)x ] / x!

4. Una unidad importante de un sistema, consiste de dos componentes colocadas en paralelo. La unidad tiene un desempeño satisfactorio si una de las dos componentes está en operación. Una componente tiene una probabilidad q de descomponerse en un periodo dado. Supóngase que la componente se descompone sólo al final del periodo. Cuando esto ocurre, la componente en paralelo opera, si está disponible, al comenzar el siguiente periodo. Sólo se cuenta con una persona que da servicio a las componentes descompuestas y e toma dos periodos arreglarlas. Sea Xt un vector con dos elementos U y V. U representa el número de componentes que operan hasta el final del periodo. V vale 1 si la persona requiere solo un periodo más para completar la reparación, si la está haciendo, y vale cero en cualquier otro caso. Así, el espacio de estados contiene cuatro estados (2, 0); (1, 0); (0, 1) y (1, 1). Por ejemplo, el estado (1, 1) significa que una componente está operando y la otra necesita un periodo más para quedar reparada. Denótense estos cuatro estados por 0, 1, 2, 3, respectivamente.

a) Determine la matriz de transición de un paso

b) ¿Cuáles son las probabilidades de estado estable?

5. Suponga una cadena de Markov, que presenta las siguientes probabilidades de transición de un paso:

0.1 0.4 0.2 0.1 0.1 0.1

P = 0.2 0.3 0.2 0.1 0.1 0.1

0.1 0.2 0.3 0.2 0.1 0.1

0 0 1 0 0 0

0.1 0.1 0.1 0.2 0.3 0.2

0.1 0.1 0.1 0.1 0.4 0.2

a) Determine las probabilidades de absorción

b) Dibuje el diagrama de transición

c) Determine las clases de la cadena

6. Suponga que le clima sólo puede ser soleado o nublado y que las condiciones del clima en mañanas sucesivas forman una cadena de Markov con probabilidad de transición estacionarias. Suponga también que la matriz de transición es la siguiente:

Soleado Nublado

Soleado 0.7 0.3

Nublado 0.6 0.4

a) Si un día concreto está nublado, ¿cuál es la probabilidad de que también esté nublado el día siguiente?

b) Si un día concreto está soleado, ¿cuál es la probabilidad de que durante los dos días siguientes también esté soleado?

c) Si un día concreto está nublado, ¿cuál es la probabilidad de que al menos uno de los tres días siguientes esté soleado?

7. Considere la cadena del ejercicio 6:

a) Si un miércoles hay sol, ¿cuál es la probabilidad de que el sábado siguiente tenga sol?

b) Si un miércoles está nublado, ¿cuál es la probabilidad de que el sábado siguiente tenga sol?

8. Considere

...