CADENAS DE MARKOV DE TIEMPO CONTINUO Y CADENAS OCULTAS DE MARKOV

CADENAS DE MARKOV DE TIEMPO CONTINUO Y CADENAS OCULTAS DE MARKOV

MARIA JOSE ACOSTA LOPEZ

CAROLINA ESTHER LARA SOLERA

CONSULTA DE TEMATICA PARA LA ASIGNATURA INVESTIGACION DE OPERACIONES III

 PROFESOR:

MSC. ESP. ING. JORGE MARIO LOPEZ PEREIRA

UNIVERSIDAD DE CORDOBA

FACULTAD DE INGENIERIA

DEPARTAMENTO DE INGENIERIA INDUSTRIAL

MONTERIA-CORDOBA

2017-II

Tabla de contenido

Introducción3

Objetivos4

Objetivo general4

Objetivos específicos4

Justificación5

Cadenas de Markov de tiempo continuo6

    Aplicaciones de cadenas de Markov de tiempo continuo7

Cadenas Ocultas de Markov16

    Aplicaciones de cadenas ocultas de Markov23

Conclusiones34

Referencias36

INTRODUCCION

El estudio de las Cadenas de Markov no se detiene en modelos determinísticos; la estadística, la ingeniería y las matemáticas son las ciencias más interesadas en ampliar y marcar nuevos horizontes en procesos markovianos que bien se sabe son estocásticos y son muy útiles para comportamientos específicos de la naturaleza, tales como, cuando los fenómenos naturales emiten señales que no son observables, o el estudio de un proceso del cual el tiempo debe ser estudiado de manera continua. Este tipo de procesos y las características que deben tener para clasificarse como tal son los cuales se estudiarán e investigarán en este trabajo.

OBJETIVOS

OBJETIVO GENERAL

Elaborar un trabajo tipo consulta-investigación con base en lo abordado en las clases magistrales del curso Investigación de Operaciones III en tema de Cadenas de Markov. Dando paso a la profundización y explicación de fenómenos que no se incluyen en los modelos determinísticos ya estudiados.

OBJETIVOS ESPECIFICOS

• Analizar los conceptos y las características de Cadenas de Markov de tiempo continuo y Cadenas ocultas de Markov.
• Complementar la temática abordada en el curso con una revisión de textos de procesos estocásticos.
• Observar cómo se redefinen las propiedades y las ecuaciones para modelos determinísticos a modelos continuos y la evaluación de algoritmos especiales para obtener los parámetros de modelos que tienen estados cuya naturaleza no es observable.
• Conocer las aplicaciones que tienen las CPMC y las HMM en ciertas ciencias.

JUSTIFICACION

En la ingeniería industrial los procesos estocásticos representan un amplio campo de investigación en muchas áreas, tales como la detección de clusters, la estimación estadística del inventario de una empresa, la planificación de semáforos y uno de los problemas más imperantes en las organizaciones, la atención al cliente mediante las colas, minimizando al máximo el tiempo de espera. En una pequeña parte de estos procesos las Cadenas de Markov marcan un hito entre la observación de infinitos estados de un proceso para determinar la probabilidad de ocurrencia de un evento, a la consideración prospectiva de exclusivamente el suceso anterior de dicho proceso.

El curso Investigación de Operaciones III se enfoca en los procesos estocásticos, es por esto que el presente trabajo investigativo aporta una continuación profunda en la materia de Cadenas de Markov, proporcionando una perspectiva mucho más amplia en cuanto a procesos cuyos estados son accesibles entre sí pero la memoria del proceso es limitada, siendo así una herramienta útil para la toma de decisiones.

Ahora, no es suficiente el hecho de revisar la temática profundizada, sino proponer inquietudes y analizar a fondo lo que provoca la evolución de las Cadenas discretas de Markov; esto se expondrá en las Conclusiones del presente trabajo.

CADENAS DE MARKOV DE TIEMPO CONTINUO O CADENAS DE MARKOV DE PARAMETRO CONTINUO

Para ciertos fenómenos, el tiempo del proceso estocástico ahora es un parámetro continuo que posee infinitos estados con un espacio S. Es aquí en donde las CPMC reciben sus correspondientes propiedades, algoritmos y ecuaciones para modelarse.

Así como para los procesos markovianos de tiempo discreto se tenía una matriz de transición, en las Cadenas de Markov de parámetro continuo la matriz de transición representa al proceso de manera específica (Montes. F, p. 106).

Definiendo las Cadenas de Markov de tiempo continuo, son aquellos procesos estocásticos  (es decir que,  fijo) (Vega. M, p.48), los cuales cumplen la siguiente premisa:[pic 1][pic 2]

[pic 3]

Si [pic 4]

Y aquí se verifica la propiedad markoviana de la condicionalidad de la determinación de la probabilidad estado futuro a partir de la memoria de la historia del estado actual.

Para resumir, conociendo las probabilidades de transición entre dos tiempos , una Cadena de Markov de tiempo continuo tiene la propiedad markoviana:[pic 5]

[pic 6]

En estas cadenas el tiempo y las variables toman valores enteros. Muchos procesos simples y complejos de desprenden de estas cadenas, tales como el Proceso de Poisson o el Proceso de Pólya, el cual tiene ley de transición no homogénea.

Características de una Cadena de Markov de tiempo continuo

Una cadena de Markov de tiempo continuo tiene las siguientes propiedades:

1. , esto significa que la distribución del tiempo en el que un estado permanece se comporta de manera exponencial (generalmente de media 1/).[pic 7][pic 8]
2. Cuando se abandona el estado i, si , entonces se verifica que:[pic 9]

[pic 10]

Replanteamiento de las ecuaciones de Kolmogorov

Recordando las Cadenas de Markov de parámetro discreto, teniendo la matriz de transición P de un paso, mediante multiplicación matricial, se obtenía cualquier matriz de transición de P n pasos y como encontrar dicha matriz en un tiempo más reducido mediante las ecuaciones de Chapman-Kolmogorov para calcular las probabilidades:

...