Cadena De Markov

CADENA DE MARVOK

CONFIGURACION

La Cadena de Markov es un modelo matemático donde existe un numero especifico de estados (imaginando que los llamemos 1, 2, … , n) donde, si un estado cambia desde el estado i al estado j, esto resulta una constante probabilidad. No importa realmente el suceso que haya provocado que el estado i se encuentre en la primera posición.

En general, el estado en que la situacion este solo se conocera de manera probabilística. Por lo que existe la probabilidad de que p1 este en el estado 1, y de que p2 este en el estado 2, y asi sucesivamente. El cambio en un estado desde un punto en un tiempo a otro punto en otro tiempo es determinado por n x n transiciones de la matriz P, con propiedades especificas que son:

a) Pij > 0 para todo i, j.

b) Pi1 + Pi2 + … + Pin= 1, para todo i.

Donde la entrada Pij representa la probabilidad existente sobre el cambio de un estado i a un estado j. La probabilidad del Vector V0 es usada para “la configuración inicial”

TERMINOLOGIA

Primeramente debemos establecer lo siguiente:

Una Cadena de Markov se considera regular si existe n entero positivo k>0 tal que (P^k)i,j>0 para todo i,j^2. Esto significa que potencialmente puede cambiar o llegar de un estado a otro en k pasos.

ENCONTRAR VECTORES POSIBILIDAD DESPUES DE K INTERACIONES

La probabilidad de comenzar en un estado j después de una iteración puede romperse en la suma de las probabilidades de encontrarse en un estado i, multiplicado a su vez por la probabilidad de que vas del estado i al estado j, sumados por todos los estados i. Por lo tanto, si v0 es el estado inicial, el vector de probabilidad después de una iteración es v0P. Interando, encontramos que el vector probabilidad después de k estados es de

v^(k)=voP^k

ENCONTRAR TODAS LOS VECTORES POSIBILIDAD FIJOS

Un determinado vector probabilidad satisface la condición t=tP, por lo tanto t(P-I)=0. Debido a la costumbre de resolver los sistemas de ecuaciones lineales donde el vector es una columna vector, usaremos la trasposición. Desde la trasposición se invierte el orden de los factores, terminando asi la resolución

(P-I)^T.t^T=0 (1)

Sin embargo, existe la situacion de que haya un vector probabilidad que puede tener entradas que sumen 1, pudiendo incorporar esto al sistema de ecuaciones lineales escribiendo esta condición como

[1, 1, … , 1] . t^T=0 (2)

Ya que P es una matriz de transición, las filas (P-I)^T se suman a [0, 0, … , 0]. Esto significa que la ecuacion (1) es reduntante, y que podemos incporporar (2) en el sistema removiendo la ultima fila de (P-I)^T y reemplazando esto en [1,1, … ,1]. Si llamamos a la nueva matriz R, entonces debemos encontrar las soluciones de

COMPORTAMIENTO DE ABSORCION DE LA CADENA DE MAKOV

El estado i es un estado absorbente si Pi,i=1; esto es uno de los que no se pueden cambiar a otro estado.

GAME THEORY

CONFIGURACION

Este juego hace referencia a la situacion donde 2 o mas jugadores, donde cada uno tiene un conjunto de opciones. Si los jugadores llegan a elegir opciones particulares, las mismas reglas del juego determinan cual de los jugadores será recompensado. Todos los juegos se asume son para 2 personas, y la recompensa es determinada por una matriz A, llamada la matriz recompensa y cada jugador tendrá un numero finito de opciones, que serán contadas a su vez. El numero Aij determina cuantos “puntos” obtendrá el jugador I del jugador II si el jugador I escoge la opcion i y el jugador II escoge la opcion j. Ademas de que se dara por sentado que ambos jugadores ya obtuvieron la matriz recompensa por adelantado.

ENCONTRANDO ESTRATEGIAS OPTIMAS

“DOMINANDO” FILAS Y COLUMNAS

En ocasiones,

...