Ejercicios procesos estocasticos

Procesos Estocásticos I.

Problemas

1. Suponga que pXnqně0 es una cadena de Markov con medida incial λ y matriz estocástica de transición P (denotado por CMpλ, P q). Si Yn “ Xkn, demuestre que pYnqně0 es CMpλ, Pkq.
2. Suponga que Z0, Z1, . . . es una sucesión de variables aleatorias indepen- dientes e idénticamente distribuidas tales que para toda i P N :

PpZi “ 1q “ p        y        PpZi “ 0q “ 1 ´ p,

donde p        0, 1 . Sea S0        0 y Sn        Z1        Zn. Determine si Xn ně0[pic 1]

es una cadena de Markov para los siguientes casos:

1. Xn “ Zn
2. Xn “ Sn

c)  Xn “ S0 ` S1 `¨ ¨ ¨ ` Sn

d )  Xn “ pS0, S0 `¨ ¨ ¨ ` Snq

Para los casos en los que sí se trate de una cadena de Markov, diga cuál es su espacio de estados, su matriz de transición.

1. Una pulga salta de manera aleatoria en los vértices de un triángulo de forma equiprobable. Encuentre la probabilidad de que, despúes de n saltos, la pulga se encuentre donde comenzó.

Una segunda pulga, también salta en los vértices de un triángulo, pero esta pulga es dos veces más propensa a saltar en el sentido de las manecillas del reloj que en el sentido inverso de las manecillas del reloj.

¿Cuál es la probabilidad de que después de n saltos, esta pulga se ecuentre donde comenzó?

1. Un dado está “arreglado”  de tal manera que el resultado obtenido en un lanzamiento, no puede ocurrir al siguiente lanzamiento, y el resto de los resultados son equiprobables. Si el primer resultado es 6, ¿cuál es la probabilidad de que al enésimo lanzamiento el resultado sea 6?

¿Cuál es la probabilidad de que después de n lanzamientos el resultado sea 1?

1. Un pulpo está entrenado para escoger un objeto A entre los objetos A y B. Su entrenamiento consiste en que varias ocasiones al haberle mostrado ambos objetos, éste es recompensado con comida cuando elije el objeto A. Suponga que el pulpo puede estar en uno de tres estados mentales: en el estado 1,  no puede recordar cuál de los objetos es el que ofrece recompensa y elije de forma equiprobable entre ambos ob- jetos; en el estado 2 recuerda y elije el objeto A, pero puede olvidar nuevamente; y en el estado 3 recuerda al objeto A y nunca olvida. En cada experimento, puede cambiar su estado mental según la siguiente matriz de transición:

Estado 1[pic 2]

Estado 2

Estado 3

Si el pulpo se encuentra en el estado mental 1 antes del primer experi- mento, ¿cuál es la probabilidad de que se encuentre en el estado 1 justo antes del pn ` 1q´ésimo experimento? ¿Cuál es la probabilidad de que escoja el objeto A en el pn ` 1q´ésimo experimento?

1. Sea Xn ně0 una cadena de Markov sobre 1, 2, 3 con matriz de tran- sición[pic 3][pic 4][pic 5]

0        1        0

P  “        0        2{3        1{3

p   1 ´ p        0

Calcule PpXn “ 1|X0 “ |1q en cada uno de los siguientes casos:

a) p “ 1{16.

b) p “ 1{6.

c) p “ 1{12.

1. Identifique las clases comunicantes de la siguiente matriz de transición:[pic 6]

1        0        0        0        1 ˛[pic 7][pic 8][pic 9]

1

P  “ ˚˝

[pic 10]

0        1        0

‹‚

¿Cuáles clases son cerradas?

1. Demuestre que una matriz estocástica de transición en un espacio de estados finito, tiene al menos una clase comunicante cerrada. Dé un ejemplo de una matriz de transición que no tenga ninguna clase comu- nicante cerrada.
2. Considere la siguiente matriz de transición:

¨ 1

P “ ˚

˚˝

Conteste lo siguiente:

3        0        0        1        0   0

0   0[pic 11][pic 12]

0   0[pic 13]

1   0

0   1

0   0

1. Comenzando en el estado 0 ¿cuál es la probabilidad de llegar al estado 6?
2. Comenzando en 1 ¿cuál es la probabilidad de llegar al estado 3?
3. Comenzando en 1 ¿cuál es el promedio de pasos para llegar al estado 3?

1. Un apostador cuenta con $2 y requiere incrementar su fortuna a $10 rápidamente. Puede apostar en el siguiente juego: una moneda “jus- ta” se lanza. Si el jugador que está a su derecha apuesta, entonces el apostador gana la suma que el jugador apostó y el apostador además matiene su apuesta; en otro caso pierde su apuesta. El apostador usa la siguiente estrategia: apuesta todo su capital si tiene $5 o menos y en otro caso apuesta sólo lo necesario para que si gana, obtenga $10.

Sea X0 2 y sea Xn el capital del apostador después de n lanzamien- tos de moneda. Demuestre que el apostador logrará su objetivo con probabilidad 1  5. ¿Cuál es el promedio de juegos necesarios para que el apostador o bien logre su objetivo o pierda todo su capital?[pic 14][pic 15]

...