Cadenas De Markov

INTRODUCCION

En las cadenas de Markov considera ciertos puntos discretos en el tiempo {t_k }, para k toma valores de 1, 2, 3,…. Y ξ_(t_k ) la variable aleatoria que caracteriza al sistema t_k. Y la familia de las variables aleatorias ξ_(t_k ) forma un proceso llamado proceso estocástico. Entonces las cadenas de Markov se usan para estudiar ciertos comportamientos de largo y cortos plazos de sistemas estocásticos.

Para un proceso de Markov es un sistema estocástico siempre que cumpla con la propiedad Markoviana.

Los estados en el tiempo t_k representan situación exhaustiva y mutuamente excluyentes del sistema en un tiempo específico. Además el número de estado puede ser finito o infinito. Un ejemplo es el juego de lanzar la moneda.

Por lo general una cadena de Markov describe el comportamiento de transición de un sistema en intervalos de tiempo igualmente espaciados. Sin embargo, existen situaciones donde los espaciamientos temporales dependen de las características del sistema y por ello, pueden no ser iguales entre sí. Estos casos se denominan cadenas de Markov incrustadas.

Con las probabilidades absolutas y de transición podremos hacer predicciones de comportamientos futuros como las que se observaron en las situaciones anteriores. Así, si llamamos estados a cada una de estas posibilidades que se pueden presentar en un experimento o situación específica, entonces podemos visualizar en las Cadenas de Markov una herramienta que nos permitiría conocer a corto y largo plazo los estados en que se encontrarían en periodos o tiempos futuros y tomar decisiones que afectarán o favorecerán nuestros intereses.

Las probabilidades absolutas y de transición son exhaustivas y mutuamente excluyentes de un experimento aleatorio en cualquier tiempo.

Las cadenas de Markov son modelos probabilísticos que se usan para predecir la evolución y el comportamiento a corto y a largo plazo de determinados sistemas. Ejemplos: reparto del mercado entre marcas; dinámica de las averías de máquinas para decidir política de mantenimiento; evolución de una enfermedad.

Las cadenas de Markov se pueden aplicar en áreas como la educación, comercialización, servicios de salud, finanzas, contabilidad y producción. En este capítulo se analizan las ideas básicas necesarias para entender las cadenas de Markov.

Muchas de las aplicaciones interesantes de las cadenas de Markov tienen que ver con cadenas en las que algunos de los estados son absorbentes y el resto son estados transitorios

OBJETIVOS

OBJETIVOS GENERALES

 Aprender a utilizar las cadenas de Markov para la resolución de problemas en tiempo discreto, para ello se hará una investigación del tema.

OBJETIVOS ESPECIFICOS

Identificar las características de los modelos y problemas de Cadenas de Markov.

Formular y resolver problemas en sistemas que se pueden modelar por el método de cadenas de Markov.

Establecer y explicar las conclusiones y recomendaciones para sistemas de este tipo.

DESARROLLO

LAS CADENAS DE MARKOV

Considere los puntos discretos en el tiempo {t_k } para k=1,2… y sea ξ_(t_k ) la variable aleatoria que caracteriza el estado del sistema t_k. La familia de variables aleatorias {ξ_(t_k ) } forma un proceso estocástico. Los estados en el tiempo t_k representan realmente las situaciones (exhaustiva y mutuamente excluyentes) del sistema en ese tiempo específico. El número de estados puede ser entonces finito o infinito.

Por ejemplo, la distribución de Poissón P_n (t)=(e^(-λt) (λt)^n)/n!

Representa un proceso estocástico con un número infinito de estados. Variable aleatoria n representa aquí el número de sucesos entre o y t (suponiendo que el sistema comienza en el tiempo 0). Los estados del sistema en cualquier tiempo t están dados por n=0,1,2…

Otro ejemplo: es el juego de lanzar la moneda con k lanzamientos. cada lanzamiento se puede interpretar como un punto en el tiempo. La secuencia resultante de lanzamientos constituye un proceso estocástico. El estado del sistema en cualquier lanzamiento es águila o sol, o bien, cara o cruz.

Una cadena de Markov es en realidad un caso especial de procesos de Markov. Se usa para estudiar el comportamiento a corto y largo plazo de ciertos sistemas estocásticos.

PROCESOS DE MARKOV

Un proceso de Markov es un sistema estocástico en el que la ocurrencia de un estado futuro depende del estado inmediatamente precedente y sólo de él. Así, si t_0<t_1<⋯t_n (n=0,1,2,…) representa puntos en el tiempo, la familia de variables aleatorios {ξ_(t_k ) } es un proceso de Markov, si ésta posee la siguiente propiedad Markoviana:

P{ξ_(t_n )= x_n│ξ_(t_(n-1) ),…,ξ_(t_0 )=x_0 }= P{ξ_(t_n )= x_n│ξ_(t_(n-1) )=x_(n-1) }

Para todos los valores posibles de ξ_(t_0 ),ξ_(t_1 ),…,ξ_(t_n ).

La probabilidad P_(x_n-1 ,) x_n=P{ξ_(t_n )=x_n│ξ_(t_(n-1) )=x_(n-1) } se llama probabilidad de transición. Representa la probabilidad condicional de que el sistema esté en x_n en t_n, dado que estaba en x_(n-1) en t_(n-1). Esta propiedad también se denomina probabilidad de transición de un paso, ya que describe al sistema entre t_(n-1) y t_n. Una propiedad de transición de m pasos se define entonces como:

P_(x_n,x_(n+m) )=P{ξ_(t_n+m)=x_(n+m)│ξ_(t_n )=x_n }

CADENAS DE MARKOV

Sean E_1,E_2,…,E_j (j=0,1,2,…) los estados exhaustivos y mutuamente excluyentes de un sistema en un tiempo cualquiera. Inicialmente, en el tiempo t_0, el sistema puede estar en cualquiera de esos estados. Sean a_j^((0) ) (j=0,1,2,…) las probabilidades absolutas de que el sistema se encuentra en el estado E_j en t_0. Suponga además que el sistema es Markoviana.

Definimos

P_ij=P{ξ_(t_n )=j│ξ_(t_(n-1) )=i}

Como la probabilidad de transición de un paso, de pasar del estado i en t_(n-1) al estado j en t_n, suponemos que esas probabilidades de transición del estado E_i al estado E_j se pueden arreglar más conveniente en forma de matriz como sigue:

P=(■(p_00@p_10@■(p_20@p_30@⋮))

...