Ejercicios para el capítulo de Cadenas de Markov

Ejercicios para el capítulo de Cadenas de Markov

1) Sea pij(m+n) la probabilidad de pasar del estado i al j en m+n pasos. Demostrar que

=

2) Una moneda se tira sucesivamente un numero indefinidos de veces con probabilidad de cara igual a p. Luego de n tiradas sea el estado de la cadena el número de caras menos el número de secas. Escribir las probabilidades de transición.

3) Una rata se mueve en el laberinto de la figura. Estando en cualquier compartimento sale por cualquiera de sus puertas con la misma probabilidad. Escribir la matriz de probabilidades de transicion.

4) Determinar las clases y periodicidades de los estados de las cadenas con matrices de transición:

0 0 1 0 0 1 0 0

1 0 0 0 0 0 0 1

½ ½ 0 0 0 1 0 0

1/3 1/3 1/3 0 1/3 0 2/3 0

5) Dos jugadores A y B juegan una sucesión de partidas. En cada partida, A tiene probabilidad p de ganar y B tiene prob. q de ganar (p+q=1). Si A gana, B le paga un peso a A y viceversa. Inicialmente A y B disponen de un capital de a y b pesos respectivamente. El juego termina cuando uno de los 2 jugadores se arruina. Escriba una matriz pik de transicion de probabilidades.

6) En la cadena del juego de A y B la ruina de cada jugador representa la absorcion en uno de los dos estados persistentes. Calcule la ruina de ambos jugadores.

7) En una cadena de Markov finita a) no pueden ser transitorios todos sus estados b) no hay estados persistentes nulos.

8) Sean los estados de la cadena I={0,1,2,...} con probabilidades de transicion:

p00 = 1, pi,i+1 = 1/(i+1) (i=1,2,...), pi,i-1 = i/(i+1) (i=1,2,...)

Hallar limn pij(n)

9) Una cadena tiene N estados. Probar lo siguiente:

(a) Si a un estado k puede llegarse desde un estado j, entonces puede llegarse en N-1 o menos pasos.

(b) Si un estado j es persistente, existe  (0<<1) tal que para n>N la probabilidad de un primer retorno a j ocurra luego de n transiciones es n

10) Una carrera de estudio tiene 5 años. Cualquier alumno tiene 3 posibilidades en cada año: pasa al siguiente, repite o abandona la carrera. Se conocen las probabilidades de transición para cada año. Como calcularía las probabilidades que un alumno cualquiera se reciba o abandone la carrera usando como modelo una cadena de Markov.

11) Una matriz pij se dice doblemente estocastica

...