CADENAS DE MARKOV

INTRODUCCION

Las cadenas de Markov son modelos probabilísticos que se usan para predecir la evolución y el comportamiento a corto y a largo plazo de determinados sistemas. Ejemplos: reparto del mercado entre marcas; dinámica de las averías de máquinas para decidir política de mantenimiento; evolución de una enfermedad.

Por lo general una cadena de Markov describe el comportamiento de transición de un sistema en intervalos de tiempo igualmente espaciados. Sin embargo, existen situaciones donde los espaciamientos temporales dependen de las características del sistema y por ello, pueden no

Las cadenas de Markov se pueden aplicar en áreas como la educación, comercialización, servicios de salud, finanzas, contabilidad y producción. En este capítulo se analizan las ideas básicas necesarias para entender las cadenas de Markov.

A continuación desarrollaremos la unidad 3 llamada “Cadenas de Markov” en la cual veremos los procesos de transición además de algunos ejemplos aplicados.

INTRODUCCIÓN A LAS CADENAS DE MARKOV.

Un proceso o sucesión de eventos que se desarrolla en el tiempo en el cual el resultado en cualquier etapa contiene algún elemento que depende del azar se denomina proceso aleatorio o proceso estocástico. Por ejemplo, la sucesión podría ser las condiciones del tiempo en Paraná en una serie de días consecutivos: el tiempo cambia día a día de una manera que en apariencia es algo aleatoria. O bien, la sucesión podría consistir en los precios de las acciones que cotizan en la bolsa en donde otra vez interviene cierto grado de aleatoriedad.

El caso más simple de un proceso estocástico en que los resultados dependen de otros, ocurre cuando el resultado en cada etapa sólo depende del resultado de la etapa anterior y no de cualquiera de los resultados previos. Tal proceso se denomina proceso de Markov o cadena de Markov (una cadena de eventos, cada evento ligado al precedente). Estas cadenas reciben su nombre del matemático ruso Andrei Andreevitch Markov (1856-1922). Como mencionamos antes, estas cadenas tiene memoria, recuerdan el último evento y eso condiciona las posibilidades de los eventos futuros. Esto justamente las distingue de una serie de eventos independientes como el hecho de tirar una moneda.

Este tipo de proceso presenta una forma de dependencia simple, pero muy útil en muchos modelos, entre las variables aleatorias que forman un proceso estocástico. Se utilizan, por ejemplo, para analizar patrones de compra de deudores morosos, para planear necesidades de personal, para analizar el remplazo de un equipo, entre otros.

En conclusión: Una cadena de Markov es una sucesión de ensayos similares u observaciones en la cual cada ensayo tiene el mismo número finito de resultados posibles y en donde la probabilidad de cada resultado para un ensayo dado depende sólo del resultado del ensayo inmediatamente precedente y no de cualquier resultado previo.

Formalmente, para definir una cadena de Markov finita hace falta determinar por lo tanto los siguientes elementos:

a) Un conjunto de estados del sistema.

b) La definición de transición.

c) Una ley de probabilidad condicional, que defina la probabilidad del nuevo estado en función de los anteriores.

Los estados son una caracterización de la situación en la que se halla el sistema en un instante dado, dicha caracterización puede ser tanto cuantitativa como cualitativa. Desde el punto de vista practico probablemente, la mejor definición de que debe entenderse por estado es la respuesta que se daría a la pregunta “¿Cómo están las cosas?”.

Formalmente, el estado de un sistema en un instante t es una variable cuyos valores solo pueden pertenecer al conjunto de estados del sistema. El sistema modelizado por la cadena, por lo tanto, es una variable que cambia de valor en el tiempo, cambio al que llamamos transición.

Propiedad de Markov:

Dada una secuencia de variables aleatorias......, , , X1 X2 X3, tales que el valor de Xn es el estado del proceso en el tiempo n. Si la distribución de probabilidad condicional de Xn+1 en estados pasados es una función de Xn por sí sola, entonces:

Esta identidad es la denominada propiedad de Markov: El estado en t + 1 sólo depende del estado en t y no de la evolución anterior del sistema.

Matriz de transición.

Al trabajar con cadenas de Markov, a menudo es útil pensar la sucesión de ensayos como experimentos efectuados en cierto sistema físico, cada resultado dejando a este sistema en cierto estado.

Por ejemplo, consideremos una sucesión de elecciones políticas en cierto país: el sistema podría tomarse como el país mismo y cada elección lo dejaría en cierto estado, es decir en el control del partido ganador. Si sólo hay dos partidos políticos fuertes, llamados A y B, los que por lo regular controlan el gobierno, entonces podemos decir que el país se encuentra en el estado A o B si el partido A o B ganara la elección. Cada ensayo (o sea cada elección), coloca al país en uno de los dos estados A o B. Una sucesión de 10 elecciones podría producir resultados tales como los siguientes:

A, B, A, A, B, B, B, A, B, B

La primera elección en la sucesión deja en el poder al partido A, la segunda fue ganada por el partido B, y así sucesivamente, hasta que la décima elección la gane el partido B. Supongamos que las probabilidades de que el partido A o B ganen la próxima elección son determinadas por completo por el partido que está en el poder ahora. Por ejemplo podríamos tener las probabilidades siguientes:

• Si el partido A está en el poder, existe una probabilidad de ¼ que el partido A ganará la próxima elección y una probabilidad de ¾ de que el partido B gane la elección siguiente.

• Si el partido B está en el poder, hay una probabilidad de 1/3 de que el partido A gane la elección siguiente y una probabilidad de 2/3 que el partido B permanezca en el poder.

En tal caso, la sucesión de elecciones forman una cadena de Markov, dado que las probabilidades de los dos resultados de cada elección están determinadas por el resultado de la elección precedente.

Lo descrito anteriormente puede representarse

...