Definición de Cadenas de Markov

Definición de Cadenas de Markov

(Discretas y Continuas)

Los procesos estocásticos son sucesiones de eventos regidos por leyes probabilísticas. Varios investigadores han estudiado las características y el comportamiento de estas sucesiones, para aplicarlos a los procesos estocásticos en física, ingeniería, biología, medicina y otras disciplinas así como también en otras ramas de la matemática y han establecido sus teorías y propiedades.

Propiedad Markoviana

Según las fuentes consultadas, entre ellas Vega (s.f), se puede afirmar que una propiedad que poseen los procesos aleatorios y de ramificación, es que sus valores en el n-ésimo paso solo dependen de los valores en el (n − 1)-ésimo paso, y no de los anteriores. Esta propiedad conocida como propiedad markoviana es de gran importancia en el estudio de estos procesos, y en el estudio general de la teoría de procesos estocásticos.

Cadena de Markov (CM)

Las fuentes consultadas coinciden en la siguiente definición: Un proceso X = {Xn : n ≥ 0}, es una cadena de Markov si satisface la siguiente condición, llamada condición de Markov:

La probabilidad de que la secuencia tome un valor dado en el instante n+1 solo está condicionada por el valor de la secuencia en el instante n y es independiente de los valores de la secuencia en los instantes anteriores (n − 1, n − 2, ...)

Puede interpretarse esta ecuación como que, dado el “presente” del proceso, el “futuro” es independiente del “pasado”. Es decir, una cadena de Markov es una sucesión de variables que “ven el pasado a través del último suceso”.

Cadenas de Markov Discretas

En documento consultado en la web denominado CMTD.pdf, (ver referencias bibliográficas) se encuentra que un proceso estocástico {Xn, n = 0, 1, 2,…} es una Cadena de Markov en Tiempo Discreto (CMTD) si para cada n y xj, j=0,…,n+1, se verifica

Por otro lado, Vega (s.f) expone:

Cadenas de Markov Continuas

Sea {Xt}t≥0 un proceso estocástico de tiempo continuo (es decir t ϵ [0; T] con T ∈ R fijo), que toma valores en un conjunto numerable E. Decimos que el proceso {Xt}t≥0 es una Cadena de Markov de Tiempo Continuo (CMTC) si ∀ s, t ≥ 0 y ∀ i, j, Xu ∈ E con 0 ≤ u ≤ s se cumple que

P(Xt+s = j / Xs = i , Xu = xu ∀ 0 ≤ u < s) = P(Xt+s = j /Xs = i)

Es decir, una cadena de Markov de tiempo continuo es un proceso estocástico que verifica la propiedad markoviana donde la probabilidad condicional de un futuro estado en el tiempo t + s, dado el estado presente en el tiempo s y todos los estados pasados, solo depende del presente estado y en independiente del pasado.

P(Xt+s = y / Xt = x ; Xu = xu ∀ 0 ≤ u < t) = P(Xt+s = y/Xt = x)

donde x, y, xu ∈ E ; ∀ 0 ≤ u < t.

Ecuaciones de Chapman-Kolmogorov

De las fuentes consultadas a través de internet se recoge la información que se presenta a continuación.

La ecuación de Chapman-Kolmogorov es una identidad sobre las distribuciones de probabilidad conjunta de los diferentes conjuntos de coordenadas en un proceso estocástico.

Supongamos que { fi } es una colección indexada de variables aleatorias, es decir, un proceso estocástico. Hacemos

sea la función conjunta de densidad de probabilidad de los valores de las variables aleatorias de f1 a fn. Entonces, la ecuación de Chapman-Kolmogorov es

usando el proceso estocástico considerado es markoviano, la ecuación de Chapman-Kolmogorov es equivalente a una identidad en las densidades de transición. En la formación de la cadena de Markov, se supone que i1 < ... < in. Así, debido a la propiedad de Márkov.

donde la probabilidad condicional es la probabilidad de transición entre los momentos . Así, la ecuación de Chapman-Kolmogorov toma la forma

Cuando la distribución de probabilidad sobre el espacio de estados de una cadena de Markov es discreta y la cadena de Markov es homogénea, las ecuaciones de Chapman-Kolmogorov se pueden expresar en términos de multiplicación de matrices (que pueden ser de dimensión infinita), así:

donde P(t) es la matriz de transición, es decir, si Xt es el estado del proceso en el momento t, entonces para dos estados cualesquiera i & j, tenemos

De la propiedad de Markov y la homogeneidad temporal, se puede comprobar que la probabilidad de ir de i a j en m etapas es

P(Xm = j |X0 = i) = ∑_k▒〖p(i ,k)P(Xm-1 = j |X0 = k)〗

Iterando se obtiene que:

P(Xm = j |X0 = i) = pm(i , j)

Es decir, la probabilidad de ir de i a j en m etapas es el elemento (i , j) de Pm.

La paradoja de Borel-Chapman-Kolmogorov

Clasificación de Estados en Cadenas de Markov

Estados Individuales en una Cadena

Con base en lo expuesto por Puigjaner (2001), se pueden clasificarlos los estados de la siguiente manera:

Estado Transitorio

Se define hj como el instante de la primera visita al estado j, es decir, el instante en que el proceso entra por primera vez en el estado j, después de abandonar el estado actual. Además, se define:

f P[hj <∞|X(0)=i]

como la probabilidad de visitar el estado j en un tiempo finito partiendo del estado i.

Se dice que un estado j es transitorio (o no recurrente) si y sólo si hay una probabilidad positiva de que el proceso no vuelva al estado j después de abandonarlo; es decir, si fjj < 1.

Estado Recurrente

Un estado j se dice que es recurrente si y sólo si, partiendo del estado j, el proceso vuelve en un tiempo finito al estado j con probabilidad 1: es decir, si fjj = 1.

...