Cadenas De Markov

ANDRÉI MARKOV

(Riazán, 1856 - San Petersburgo, 1922) Matemático ruso que desarrolló la moderna teoría de procesos estocásticos. Trabajó en la casi totalidad de los campos de la matemática. En el campo de la la teoría de la probabilidad, profundizó en las consecuencias del teorema central del límite y en la ley de los grandes números. En su honor, lleva su nombre un tipo muy especial de procesos estocásticos.

Markov, graduado en la Universidad de San Petersburgo en 1878, fue alumno de Pafutny Chebyshev, quien ejerció una gran influencia en sus investigaciones. Impartió clases de matemáticas en esta Universidad desde 1886. Sus primeras investigaciones versaron sobre análisis y teoría de números, en particular sobre las fracciones continuas, límites de integrales, teoría de aproximaciones y convergencia de series. En 1900 estudió la teoría de probabilidades. Demostró a partir de supuestos muy generales el llamado teorema central del límite, que establece que la suma de un número grande de variables aleatorias independientes se aproxima a una distribución gaussiana.

Tras este trabajo, estudió las variables dependientes e introdujo el concepto de sucesos encadenados. Markov extendió los resultados clásicos de sucesos independientes a cierto tipo de sucesos encadenados, conocidos como sucesos markovianos, que son aquellos cuyo estado en un instante de tiempo depende de uno o varios estados cronológicamente anteriores. Este estudio, desarrollado por su discípulo Andrei Kolmogorov y por Norbert Wiener, se convirtió en una teoría general de procesos estocásticos y se ha aplicado con éxito en campos tan dispares como la biología, la sociología y la lingüística. Fue miembro de la Academia rusa de Ciencias desde 1896.

CADENAS DE MARKOV

En matemática se define como un proceso estocástico discreto que cumple con la propiedad de Markov, es decir, si se conoce la historia del sistema hasta su instante actual, su estado presente resume toda la información relevante para describir en probabilidad su estado futuro.

Una cadena de Markov es una secuencia X1, X2, X3,... de variables aleatorias. El dominio de estas variables, es llamado espacio estado, el valor de Xn es el estado del proceso en el tiempo n. Si la distribución de probabilidad condicional de Xn+1 en estados pasados es una función de Xn por sí sola, entonces:

Donde xi es el estado del proceso en el instante i. La identidad mostrada es la propiedad de Markov.

NOTACIÓN ÚTIL

Cadenas Homogéneas Y No Homogéneas

Una cadena de Markov se dice homogénea si la probabilidad de ir del estado i al estado j en un paso no depende del tiempo en el que se encuentra la cadena, esto es:

Para todo n y para cualquier i, j.

Si para alguna pareja de estados y para algún tiempo n la propiedad antes mencionada no se cumple diremos que la cadena de Markov es no homogénea.

Probabilidades De Transición Y Matriz De Transición

La probabilidad de ir del estado i al estado j en n unidades de tiempo es:

,

En la probabilidad

...