Markovianos

Procesos Markovianos de decisión

Consiste en la aplicación de la programación dinámica a un proceso de decisión estocástico, en donde las probabilidades de transición entre estado están descritas por una cadena de Markov.

La estructura de recompensas del proceso está descrita por una matriz cuyos elementos individuales son el costo o el beneficio de moverse de un estado a otro.

Las matrices de transición y de recompensas dependen de las alternativas de decisión. El objetivo es determinar la política óptima que maximice el ingreso esperado en un número finito o infinito de etapas.

8.1 Modelo de decisión de markov

El modelo de Markov es un proceso que se utiliza para estimar los costos y la evolución a largo plazo de enfermedades crónicas. Se basa en conceptos preestablecidos de cómo un paciente con cierta enfermedad crónica se "mueve" de un estado de salud a otro y determina la influencia de la intervención sobre estos "pasajes". El modelo de Markov estándar evalúa el efecto de cierto número de estrategias terapéuticas. La primera intervención suele ser esencialmente distinta, mientras que las siguientes y sus consecuencias se captan a través de las probabilidades de transición y de los costos y las utilidades en relación con los estados de salud aplicados en el modelo. No obstante, este proceso puede no ser adecuado cuando el objetivo no es establecer la terapia óptima para la fase inicial de la enfermedad sino también para los estados posteriores, en la medida que la enfermedad se modifica.

El objetivo principal de cualquier análisis de costo y eficacia consiste en comparar 2 tratamientos o más para seleccionar el mejor, desde una perspectiva económica en salud. Como se mencionó, cuando se diseñan estos modelos muchas veces es necesario asumir cierto tipo de evolución de la enfermedad más allá del tiempo habitual de observación en los trabajos clínicos.

8.2 Modelo de programación dinámica con etapa finita

Su objetivo es optimizar el ingreso esperado al final de un período de tamaño N, donde, Pk= [pi j k] y Rk=[ri j k] son las matrices de transición y recompensa para la alternativa k, fn(i) es el ingreso esperado óptimo de las etapas n, n+1,...,N si el estado del sistema al inicio de la etapa n es i.

m

∫fn(i) = max , Σ Pijk [rij k ∫n+1(j) ] n = 1,2,…, n

k j=1

∫n+1(j) = 0, j = 1,2, … ,m

EJEMPLO. Suponga que toda la industria de refresco produce dos colas: Coca Cola y Pepsi Cola. Cuando una persona ha comprado Coca Cola hay una probabilidad de 90% de que siga comprándola la vez siguiente. Si una persona compró Pepsi, hay 80% de que repita la vez siguiente. Se pide:

a) Si una persona actualmente es comprador de Pepsi. ¿Cuál es la probabilidad de que compre Coca Cola pasadas dos compras a partir de hoy?

b) Si en la actualidad una persona es comprador de Coca Cola. ¿Cuál es la probabilidad de que compre Coca Cola pasadas tres compras a partir de ahora?

c) Supongamos que el 60% de toda la gente toma hoy Coca Cola y el 40% Pepsi. A tres compras a partir de ahora, ¿Qué fracción de los compradores estará tomando Coca Cola.

d) Determinar el estado estable.

SOLUCIÓN: La situación se puede modelar como una cadena de Markov con dos estados {Coca-Cola, Pepsi-Cola}= {C, P}. La matriz de transición para el orden C, P, es

a) Se pide la probabilidad de transición en dos pasos, es decir que se pide el valor en fila 2, columna 1 para la matriz P2, obteniéndose que este es: 0,2.0,9+0,8.0,2 =0,34

b) Al igual que en el apartado anterior se pide el valor de probabilidad de transición en fila 1 y columna 1 para la matriz P3.

Esto quiere decir que la solución al problema es 0,781.

c) El vector de probabilidad inicial es (0.6, 0.4), por tanto la probabilidad de consumir ambos estados a partir de tres etapas es: (0.4, 0.6)*P3.

Calculamos primero P2, resultando que

Por lo tanto,

Entonces el resultado solicitado es 1/10000 *(6438 3562) = (0.6438, 0.3562); esto es que al cabo de tres compras el 64’38% comprará Coca Cola y el 35’62% comprará Pepsi Cola.

d) El estado estable se determina resolviendo el sistema de ecuaciones:

Añadiendo la ecuación x+y = 1, siendo x la probabilidad de que una persona compre Coca Cola a largo plazo e y lo mismo de que compre Pepsi Cola. El sistema resultante es:

Obsérvese que las dos primeras ecuaciones son la misma por tanto quedémonos con las dos últimas, obteniendo como solución:

x = 2/3; y = 1/3.

8.3 Modelo de etapa infinita

Hay dos métodos para resolver el problema con etapas infinitas. En el primero se deben evaluar todas las políticas estacionarias del problema de decisión. Esto equivale a un proceso de enumeración exhaustiva y solo se puede usar si la cantidad de políticas estacionarias es razonablemente pequeña. El segundo método, llamado iteración de política, en general es más eficiente, porque determina en forma iterativa la política optima (Thaja, 2004).

En otras palabras, se desarrollaran varios métodos para este modelo de etapas, en el cual se buscan las políticas para que existan soluciones de estado estable.

Métodos:

• Enumeración exhaustiva: se evalúan todas las políticas estacionarias posibles del problema de decisión.

• Iteración de política: determina la política óptima de forma iterativa.

8.4 Programación lineal y política optima

La Programación Lineal es un procedimiento o algoritmo matemático mediante el cual se resuelve un problema indeterminado, formulado a través de ecuaciones lineales, optimizando la función objetivo, también lineal.

Consiste en optimizar (minimizar o maximizar) una función lineal, que denominaremos función objetivo, de tal forma que las variables de dicha función estén sujetas a una serie de restricciones que expresamos mediante un sistema de inecuaciones lineales.

Además, la Programación lineal, intenta describir una determinada situación en términos de un modelo matemático determinado; una vez conocida la naturaleza de las variables de decisión, y expresadas la función objetivo y las restricciones en función de esas variables, la resolución del modelo puede confiarse, sin mayores problemas, a un programa informático.

Los dos métodos más importantes para derivar políticas óptimas para los procesos de decisión markovianos son los algoritmos de mejoramiento de una política y programación lineal.

Bajo el criterio de costo descontado, el método de aproximaciones sucesivas proporciona un camino rápido para aproximarse a una política óptima.

8.5 Criterios de costos descontados

En todo este capítulo se han medido las políticas según su costo promedio esperado (a largo plazo) por unidad de tiempo. Ahora se estudiará una medida alternativa de desempeño, el costo descontado total esperado.

Como se introdujo en la sección 19.2, esta medida usa un factor de descuento «, donde. Este factor de descuento a se puede interpretar como igual a, 1/(1+i), donde i es la tasa de interés actual por periodo. Así, a es el valor presente de una unidad de costo un periodo en el futuro. En forma similar, am es el valor presente de una unidad de costo dentro de m periodos.

Este criterio de costo descontado es preferible al criterio de costo promedio cuando los periodos para la cadena de Markov son suficientemente largos como para que el valor del dinero en d tiempo se deba tomar en cuenta cuando los costos en periodos futuros se suman al costo en el periodo actual. Otra ventaja es que el criterio de costo descontado se puede adaptar con facilidad al manejar procesos de decisión markovianos de periodo finito donde la cadena de Markov deja de operar después de cierto número de periodos.

Tanto la técnica de mejoramiento de la política como el enfoque de programación lineal se pueden aplicar aquí con algunos ajustes relativamente menores al caso del costo promedio, como se describirá. Después se presentará otra técnica, llamada método de aproximaciones sucesivas, para aproximarse con rapidez a una política óptima.

TEMA Nº 9: Análisis de decisión

El análisis de decisiones proporciona un marco de trabajo y una metodología para la toma de decisiones racional cuando los resultados son inciertos.

Una pregunta que surge con frecuencia es si tomar la decisión necesaria en este momento o primero hacer algunas pruebas (con cierto costo) para reducir el nivel de incertidumbre sobre el resultado de la decisión. Por ejemplo, la prueba puede ser realizar una promoción de prueba de un nuevo producto para ver la reacción del consumidor antes de tomar la decisión de proceder o no con la producción y comercialización a gran escala del producto. Se hace referencia a esta prueba como resultado de la experimentación. Entonces, el análisis de decisiones divide la toma de decisiones en los casos sin experimentación y con experimentación.

Consiste en un conjunto de técnicas y procedimientos orientados a reducir el margen de error en las decisiones adoptadas en el marco de la administración de negocios. Suele también denominarse AD (Análisis de Decisiones); son sus elementos constitutivos:

• El Objetivo o problema a solucionar.

• Las alternativas de elección

• Los atributos o condiciones y su valoración

• La probabilidad asociada a cada alternativa.

De no existir alternativas, no existe AD. Además, el decisor está interesado en tomar la mejor decisión posible, la que será el resultado de la información y el tiempo disponible.

9.1 Toma de decisiones sin experimentación

Antes de buscar una solución al problema, se formulará un marco de referencia general para la toma de decisiones. En términos generales, el tomador de decisiones debe elegir una acción de un conjunto de acciones posibles. El conjunto contiene todas las alternativas factibles bajo consideración para las distintas formas de proceder en el problema en cuestión. Esta elección de una acción debe hacerse frente a la incertidumbre porque el resultado se verá afectado por factores aleatorios que se encuentran fuera del control del tomador de decisiones. Estos factores aleatorios determinan qué situación se encontrará en el momento en que se ejecute la acción. Cada una de estas situaciones posibles se conoce como un estado de la naturaleza.

Para cada combinación de una acción y un estado de la naturaleza, el tomador de decisiones sobre cuál sería el pago resultante. El pago es una medida cuantitativa del valor de las consecuencias del resultado para el tomador de decisiones. Por ejemplo, muchas veces el pago se representa por la ganancia monetaria neta (utilidad), aunque también se puede usar otras medidas. Si las consecuencias del resultado no son por completo ciertas aunque el estado de la naturaleza esté dado, el pago se convierte en un valor esperado (en el sentido estadístico) de la medida de las consecuencias. En general, se usa una tabla de pagos para dar el pago de cada combinación de acción y estado de la naturaleza.

El marco conceptual del análisis de decisiones se puede resumir como:

El tomador de decisiones necesita elegir una de las acciones posibles.

La naturaleza elegirá entonces uno de los estados de la naturaleza posibles.

Cada combinación de una acción y un estado de la naturaleza da como resultado un pago, que está dado como uno de los elementos de la tabla de pagos.

Esta tabla de pagos debe usarse para encontrar una acción óptima para el tomador de decisiones según un criterio adecuado.

El tomador de decisiones casi siempre tendrá alguna información que debe tomar en cuenta sobre la posibilidad relativa de los estados de la naturaleza. Es común que se pueda traducir esta información en una distribución de probabilidad, si se piensa que el estado de la naturaleza es una variable aleatoria, en cuyo caso esa distribución se conoce como distribución a priori. Las distribuciones a priori con frecuencia son subjetivas en el sentido de que pueden depender de la experiencia o la intuición de un individuo. Las probabilidades para los respectivos estados de la naturaleza se llaman probabilidades a priori.

9.2 Toma de decisiones con experimentación: Es frecuente hacer pruebas adicionales (experimentación) para mejorar las estimaciones preliminares de las probabilidades de los respectivos estados de la naturaleza dadas por las probabilidades a priori. Estas estimaciones mejoradas se llaman probabilidades a posteriori.

.

9.3 Árboles de decisiones

Un árbol de decisión proporciona una forma para desplegar visualmente un problema y después organizar el trabajo de cálculos que deben realizarse. Los árboles de decisión son especialmente útiles cuando deben tomarse una serie de decisiones.

Terminología.

Nodo de decisión: Indica que una decisión necesita tomarse en ese punto del proceso. Está representado por un cuadrado.

Nodo de probabilidad: Indica que en ese punto del proceso ocurre un evento aleatorio (estado de la naturaleza) Está representado por un círculo.

Rama: Nos muestra los distintos posibles caminos que se pueden emprender dado que tomamos una decisión u ocurre algún evento aleatorio.

En resumen, los árboles de decisión proveen un método efectivo para la toma de decisiones debido a que:

1.- Claramente plantean el problema para que todas las opciones sean analizadas.

2-.Permiten analizar totalmente las posibles consecuencias de tomar una decisión.

3-.Proveen un esquema para cuantificar el costo de un resultado y la probabilidad de que suceda.

4-.Nos ayuda a realizar las mejores decisiones sobre la base de la información existente y de las mejores suposiciones.

Finalmente, el desarrollo de árboles de decisión beneficia en dos formas. Primero que todo, la necesidad de describir condiciones y acciones llevan a los analistas a identificar de manera formal las decisiones que actualmente deben tomarse. De esta forma, es difícil para ellos pasar por alto cualquier etapa del proceso de decisión, sin importar que este dependa de variables cuantitativas o cualitativas. Los árboles también obligan a los analistas a considerar la consecuencia de las decisiones.

Se ha demostrado que los árboles de decisión son eficaces cuando es necesario describir problemas con más de una dimensión o condición. También son útiles para identificar los requerimientos de datos críticos que rodean al proceso de decisión, es decir, los árboles indican los conjuntos de datos que la gerencia requiere para formular decisiones o tomar acciones. El analista debe identificar y elaborar una lista de todos los datos utilizados en el proceso de decisión, aunque el árbol de decisión no muestra todo los datos.

Los árboles de decisión no siempre son la mejor herramienta para el análisis de decisiones. El árbol de decisiones es un sistema complejo con muchas secuencias de pasos y combinaciones de condiciones puede tener un tamaño considerable. El gran número de ramas que pertenecen a varias trayectorias constituye más un problema que una ayuda para el análisis. En estos casos los analistas corren el riesgo de no determinar qué políticas o estrategias de la empresa son la guía para la toma de decisiones específicas. Cuando aparecen estos problemas, entonces es momento de considerar las tablas de decisión.

9.4 Función de utilidad: Una función de utilidad es una función real que mide la "satisfacción" o "utilidad" obtenida por un consumidor cuando disfruta vía consumo de cierta cantidad de bienes.

Matemáticamente puede demostrarse que si es posible modernizar la conducta de un consumidor racional mediante funciones de utilidad convexa, entonces esta conducta puede resumirse mediante una demanda decreciente. Más sencillamente, si existe una función de utilidad para el consumidor racional y se dan unos supuestos matemáticamente razonables entonces existe una "curva de demanda".

BIBLIOGRAFIA

LIBERMAN, HILLER “Investigación de operaciones”. 7ma Edición. Capítulo 9 2009.

Sociedad Iberoamericana de Información Científica (SIIC)

2002.

...