Cadenas D Markov

CADENAS DE MARKOV

DEFINICIONES

Un proceso estocástico se define como una colección indexada de variables aleatorias {Xt}, donde el índicet toma valores de un conjunto T dado. Con frecuencia T se considera el conjunto de enteros no negativos mientras que Xtrepresenta una característica de interés cuantificable en el tiempo t.

Cadena de Markov:Una cadena de Markov es una sucesión de ensayos similares u observaciones en la cual cada ensayo tiene el mismo número finito de resultados posibles y en donde la probabilidad de cada resultado para un ensayo dado depende sólo del resultado del ensayo inmediatamente precedente y no de cualquier resultado previo.

Es un proceso aleatorio con la propiedad de que dado el valor actual del proceso Xt, los valores futuros Xspara s > t son independientes de los valores pasados Xupara u < t. Es decir, que si tenemos la información presente del proceso, saber cómo llegó al estado actual no afecta las probabilidades de pasar a otro estado en el futuro.

Propiedad markoviana: establece que la probabilidad condicional de cualquier

“evento” futuro dados cualquier “evento” pasado y el estado actual Xi=i, es independiente de los eventos pasados y sólo depende del estado actual del proceso.

Probabilidades de transición:se refieren a la transición del estado del renglón al estado de la columna.

Probabilidades de transición estacionariasimplica que las probabilidades de transición no cambian con el tiempo. La existencia de probabilidades de transición (de un paso) estacionarias también implica que, para cada i, j y n (n 5 0, 1, 2,. . .)

Probabilidad de estado estable significa que la probabilidad de encontrar el proceso en cierto estado, por ejemplo j, después de un número grande de transiciones tiende al valor pj, y es independiente de la distribución de probabilidad inicial definida para los estados.

Las probabilidades de transición de n pasos〖Pij〗^((n)) son simplemente la probabilidad condicional de que el sistema se encuentre en el estado j exactamente después de n pasos (unidades de tiempo), dado que comenzó en el estado i en cualquier tiempo t. Cuando n=1 observe que 〖Pij〗^((n))=〖Pij〗^(.1)

Propiedad de Markov: Dada una secuencia de variables aleatorias,X 1, X 2, X 3, tales que el valor de n X es el estado del proceso en el tiempo n. Si la distribución de probabilidad condicional de n1 X en estados pasados es una función de n X por sí sola, entonces:

Donde i x es el estado del proceso en el instante i.

Esta identidad es la denominada propiedad de Markov: El estado en

...