Cadenas De Markov

CADENAS DE MARKOV

Una cadena de Markov es una sucesión de ensayos similares u observaciones en la cual

cada ensayo tiene el mismo número finito de resultados posibles y en donde la

probabilidad de cada resultado para un ensayo dado depende sólo del resultado del

ensayo inmediatamente precedente y no de cualquier resultado previo.

Consideremos un proceso de Markov en que el sistema posee n estados

Posibles, dados por los números 1, 2, 3, …., n. Denotemos ij p a la probabilidad de que

el sistema pase al estado j después de cualquier ensayo en donde su estado era i antes

Del ensayo. Los números ij p se denominan probabilidades de transición y la matriz nxn

( )ij P = p se conoce como matriz de transición del sistema.

Las cadenas de Markov son unas herramientas para analizar el comportamiento y el gobierno de determinados tipos de procesos estocásticos, esto es, procesos que evolucionan de forma no deterministicas a lo largo del tiempo en torno a un conjunto de estados.

Una cadena de Markov, por lo tanto, representa un sistema de varia su estado a lo largo del tiempo, siendo cada cambio una transición del sistema. Dichos cambios no están predeterminado, aunque si lo está la probabilidad del próximo estado en función de los estados anteriores, probabilidad que es constante a lo largo del tiempo (sistema homogéneo en el tiempo). Eventualmente, en una transición, el nuevo estado puede ser el mismo que el anterior y es posible que exista la posibilidad de influir en las probabilidades de transición actuando adecuadamente sobre el sistema (decisión).

En la teoría de la probabilidad, se conoce como cadena de Markov a un tipo especial de proceso estocástico discreto en el que la probabilidad de que ocurra un evento depende del evento to anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar una moneda al aire o un dado.

A continuación mostraremos estos conceptos para tratar de que quede más claro el tema.

Pruebas del proceso: eventos que disparan transiciones de un estado a otro. En muchas aplicaciones, periodos de tiempo sucesivos.

Probabilidad de transición: dado que el sistema está en estado i durante un periodo, la probabilidad de transición pijes la probabilidad de que el sistema este en el estado j durante el siguiente periodo.

Esta matriz se denomina matriz de transición. Los elementos de la matriz de transición

Representan las probabilidades de que en el próximo ensayo el estado del sistema del

Partido indicado a la izquierda de la matriz cambie al estado del partido indicado arriba

De la matriz.

Probabilidad de estado: es la probabilidad de que el sistema este en cualquier estado particular. Probabilidad de estado estable: La probabilidad de que el sistema este en cualquier estado particular después de un número elevado de transiciones. Una vez alcanzado este estado la probabilidad de estado no cambia de un periodo a otro.

Estado de absorción: se da cuando la probabilidad de que ocurra una transición de este estado es cero. Por lo que una vez que el sistema a hecho una transición a un estado de absorción, quedará ahí.

Matriz fundamental: Matriz necesaria para el cómputo de probabilidades asociadas con el estado de absorción de un proceso de Markov. Propiedad de Markov: Dada una secuencia de variables aleatorias...... , , , X1 X2 X3,

Tales que el valor de Xn es el estado del proceso en el tiempo n. Si la distribución de

Probabilidad condicional de Xn+1en estados pasados es una función de Xn por sí sola.

Esta identidad es la denominada propiedad de Markov: El estado en t + 1 sólo depende

del estado en t y no de la evolución anterior del sistema.

Sólo estudiaremos las cadenas de Markov, con lo cual tendremos espacios de estados S discretos y conjuntos de instantes de tiempo T también discretos, T={t0, t1, t2,…}

Una cadena de Markov (CM) es una sucesión de variables aleatorias Xi, iÎN, tal que:

que es la expresión algebraica de la propiedad de Markov para T discreto.

Probabilidades de transición

Las CM están completamente caracterizadas por las probabilidades de transición en una etapa,

Sólo trabajaremos con CM homogéneas en el tiempo, que son aquellas en las que:

Donde qij se llama probabilidad de transición en una etapa desde el estado i hasta el estado j.

Matriz de transición

Los qij se agrupan en la denominada matriz de transición de la CM:

Propiedades de la matriz de transición

Por ser los qij probabilidades,

Por ser 1 la probabilidad del suceso seguro, cada fila ha de sumar 1, es decir,

Una matriz que cumpla estas dos propiedades se llama matriz estocástica.

Diagrama de transición de estados

El diagrama de transición de estados (DTE) de una CM es un grafo dirigido cuyos nodos son los estados de la CM y cuyos arcos se etiquetan con la probabilidad de transición entre los estados que unen. Si dicha probabilidad es nula, no se pone arco.

qij

...