CADENAS DE MARKOV DE TIEMPO CONTINUO Y CADENAS OCULTAS DE MARKOV

CADENAS DE MARKOV DE TIEMPO CONTINUO Y CADENAS OCULTAS DE MARKOV

MARIA JOSE ACOSTA LOPEZ

CAROLINA ESTHER LARA SOLERA

CONSULTA DE TEMATICA PARA LA ASIGNATURA INVESTIGACION DE OPERACIONES III

 PROFESOR:

MSC. ESP. ING. JORGE MARIO LOPEZ PEREIRA

UNIVERSIDAD DE CORDOBA

FACULTAD DE INGENIERIA

DEPARTAMENTO DE INGENIERIA INDUSTRIAL

MONTERIA-CORDOBA

2017-II

Tabla de contenido

Introducción3

Objetivos4

Objetivo general4

Objetivos específicos4

Justificación5

Cadenas de Markov de tiempo continuo6

    Aplicaciones de cadenas de Markov de tiempo continuo7

Cadenas Ocultas de Markov16

    Aplicaciones de cadenas ocultas de Markov23

Conclusiones34

Referencias36

INTRODUCCION

El estudio de las Cadenas de Markov no se detiene en modelos determinísticos; la estadística, la ingeniería y las matemáticas son las ciencias más interesadas en ampliar y marcar nuevos horizontes en procesos markovianos que bien se sabe son estocásticos y son muy útiles para comportamientos específicos de la naturaleza, tales como, cuando los fenómenos naturales emiten señales que no son observables, o el estudio de un proceso del cual el tiempo debe ser estudiado de manera continua. Este tipo de procesos y las características que deben tener para clasificarse como tal son los cuales se estudiarán e investigarán en este trabajo.

OBJETIVOS

OBJETIVO GENERAL

Elaborar un trabajo tipo consulta-investigación con base en lo abordado en las clases magistrales del curso Investigación de Operaciones III en tema de Cadenas de Markov. Dando paso a la profundización y explicación de fenómenos que no se incluyen en los modelos determinísticos ya estudiados.

OBJETIVOS ESPECIFICOS

• Analizar los conceptos y las características de Cadenas de Markov de tiempo continuo y Cadenas ocultas de Markov.
• Complementar la temática abordada en el curso con una revisión de textos de procesos estocásticos.
• Observar cómo se redefinen las propiedades y las ecuaciones para modelos determinísticos a modelos continuos y la evaluación de algoritmos especiales para obtener los parámetros de modelos que tienen estados cuya naturaleza no es observable.
• Conocer las aplicaciones que tienen las CPMC y las HMM en ciertas ciencias.

JUSTIFICACION

En la ingeniería industrial los procesos estocásticos representan un amplio campo de investigación en muchas áreas, tales como la detección de clusters, la estimación estadística del inventario de una empresa, la planificación de semáforos y uno de los problemas más imperantes en las organizaciones, la atención al cliente mediante las colas, minimizando al máximo el tiempo de espera. En una pequeña parte de estos procesos las Cadenas de Markov marcan un hito entre la observación de infinitos estados de un proceso para determinar la probabilidad de ocurrencia de un evento, a la consideración prospectiva de exclusivamente el suceso anterior de dicho proceso.

El curso Investigación de Operaciones III se enfoca en los procesos estocásticos, es por esto que el presente trabajo investigativo aporta una continuación profunda en la materia de Cadenas de Markov, proporcionando una perspectiva mucho más amplia en cuanto a procesos cuyos estados son accesibles entre sí pero la memoria del proceso es limitada, siendo así una herramienta útil para la toma de decisiones.

Ahora, no es suficiente el hecho de revisar la temática profundizada, sino proponer inquietudes y analizar a fondo lo que provoca la evolución de las Cadenas discretas de Markov; esto se expondrá en las Conclusiones del presente trabajo.

CADENAS DE MARKOV DE TIEMPO CONTINUO O CADENAS DE MARKOV DE PARAMETRO CONTINUO

Para ciertos fenómenos, el tiempo del proceso estocástico ahora es un parámetro continuo que posee infinitos estados con un espacio S. Es aquí en donde las CPMC reciben sus correspondientes propiedades, algoritmos y ecuaciones para modelarse.

Así como para los procesos markovianos de tiempo discreto se tenía una matriz de transición, en las Cadenas de Markov de parámetro continuo la matriz de transición representa al proceso de manera específica (Montes. F, p. 106).

Definiendo las Cadenas de Markov de tiempo continuo, son aquellos procesos estocásticos  (es decir que,  fijo) (Vega. M, p.48), los cuales cumplen la siguiente premisa:[pic 1][pic 2]

[pic 3]

Si [pic 4]

Y aquí se verifica la propiedad markoviana de la condicionalidad de la determinación de la probabilidad estado futuro a partir de la memoria de la historia del estado actual.

Para resumir, conociendo las probabilidades de transición entre dos tiempos , una Cadena de Markov de tiempo continuo tiene la propiedad markoviana:[pic 5]

[pic 6]

En estas cadenas el tiempo y las variables toman valores enteros. Muchos procesos simples y complejos de desprenden de estas cadenas, tales como el Proceso de Poisson o el Proceso de Pólya, el cual tiene ley de transición no homogénea.

Características de una Cadena de Markov de tiempo continuo

Una cadena de Markov de tiempo continuo tiene las siguientes propiedades:

1. , esto significa que la distribución del tiempo en el que un estado permanece se comporta de manera exponencial (generalmente de media 1/).[pic 7][pic 8]
2. Cuando se abandona el estado i, si , entonces se verifica que:[pic 9]

[pic 10]

Replanteamiento de las ecuaciones de Kolmogorov

Recordando las Cadenas de Markov de parámetro discreto, teniendo la matriz de transición P de un paso, mediante multiplicación matricial, se obtenía cualquier matriz de transición de P n pasos y como encontrar dicha matriz en un tiempo más reducido mediante las ecuaciones de Chapman-Kolmogorov para calcular las probabilidades:

[pic 11]

Luego de tener las probabilidades de estado estable o vector  en forma matricial será:[pic 12]

[pic 13]

Ahora, para denotar un proceso de Markov de tiempo continuo no es adecuado decir una  matriz de transición P da la probabilidad de que el proceso estará en el estado j en tiempo  si esta inicialmente en un estado i con una distribución  (Bhattacharya.R, Waymire. E, p.278). Entonces, Kolmogorov denota las probabilidades de transición mediante dos ecuaciones diferenciables para todo  y todos  [pic 14][pic 15][pic 16][pic 17]

Ecuación forward (prospectiva): [pic 18]

Ecuación backward (retrospectiva): [pic 19]

En general, la ecuación de Chapman-Kolmogorov para Cadenas de Markov de parámetro continuo es:

[pic 20]

Para todos i, j  S, s,t0[pic 21][pic 22]

Proceso de saltos

Para tiempos aleatorios T, es decir, los tiempos en los que el proceso permanece constante en alguno de sus estados se llaman tiempos de estancia (Rincon. L, p.124).

[pic 23]

Figura 1. Rincon.L p.124

Analizando la gráfica estado  Vs.  de Rincon, el estado  se demora un tiempo aleatorio , luego de esto el proceso “salta” hacia el estado , con un tiempo aleatorio diferente , y así sucesivamente, haciendo una representación única de las Cadenas de Markov de tiempo continuo en forma finito-dimensional. [pic 24][pic 25][pic 26][pic 27][pic 28][pic 29]

APLICACIONES DE CADENAS DE MARKOV DE TIEMPO CONTINUO

PROCESOS DE RAMIFICACION

En estos procesos markovianos, la población estudio está sometida a estados de crecimiento y extinción del sistema. La variable estocástica  ahora representa el número de individuos que existen en el sistema en un tiempo t. Es de mucho provecho estudiar este tipo de fenómenos debido a que existen preguntas tales como ¿Cuál es la rata de crecimiento poblacional?, ¿Cuáles poblaciones son extintas?, ¿Cuál es el comportamiento de las poblaciones que no se extinguen?[pic 30]

Así como se estudian los individuos que se reproducen sexualmente y provocan el crecimiento de la población, al igual se pueden analizar las características celulares y reproductivas de los que lo hacen de manera asexual, y se sabe por varios algoritmos que este tipo de crecimiento tiene un comportamiento exponencial.

Este proceso puede definirse de la siguiente manera:

• En una población se supone que el número de hijos de cada individuo  representa la variable aleatoria , con una distribucion , siendo ”probabilidad de n hijos”. Se cumple que [pic 31][pic 32][pic 33][pic 34]

[pic 35]

Y se supone que:[pic 36]

• El número de hijos que cada individuo tiene es independiente de su historia familiar y del número de hijos de los demás individuos.
• Se supone que se inicia el proceso con un individuo quien constituye la 0-ésima generación, sus hijos forman parte de la primera generación, sus nietos la tercera generación y así sucesivamente. La variable aleatoria  denota el número de individuos de la n-ésima generación, entonces se tiene que  y que  tiene distribucion p. si en la n-ésima generación hay  individuos, entonces en la (n+1) generación habrá [pic 37][pic 38][pic 39][pic 40]

[pic 41]

Individuos, donde  representa el número de hijos del k-ésimo individuo de la n-ésima generación, donde k=1,2,…, i[pic 42]

...