Cadenas De Markop

4. CADENAS DE MARKOV (Parte II)

4.4 Estados absorbentes o estados transientes

Los tiempos de primer paso son las transiciones que un proceso hace al pasar de un estado i a un estado j por primera vez, en este caso no es temerario hacer afirmaciones con cierta precisión de las probabilidades sobre dicho numero de transiciones. Si tomamos en cuenta el estado en el que i=j, es el tiempo en el cual el proceso regresa a su estado inicial, este tiempo se conoce como de recurrencia para el estado i, de manera que el estado se denomina absorbente o transiente

4.5 Probabilidad de transición estacionaria de n pasos.

La transiciones estacionarias de un solo paso proporcionan los estados condicionales dependiendo exclusivamente del estado actual y no del estado pasado. Para calcular las probabilidades de transición estacionarias de n pasos se utilizan las ecuaciones de Chapman-Kolmogorov:

Como se puede apreciar, esta expresión muestra que al ir de un estado i al estado j en un numero de pasos determinado (n), el proceso estará en algún estado k después de m pasos.

La probabilidad condicional de empezar en el estado i, y luego el proceso vaya al estado k después de m pasos y posteriormente al estado j en n-m pasos, estará dada por:

Existirán situaciones en las que m=1 y m=n-1

Para toda i, j, y n de lo cual resulta que las probabilidades de transición de n pasos se pueden obtener a partir de las probabilidades de transición de un paso de manera recursiva. Para n=2, estas expresiones se vuelven:

Es fácilmente observable que son los elementos de la matriz P(2) , pero también es notorio que estos términos, se obtienen del producto de la matriz de transición de un paso por sí misma;

P(2) = P * P = P2 .

De manera generalizada la matriz de probabilidades de transición de n pasos se reduce a la expresión:

P(n) = P * P .... P = Pn = PPn-1 = Pn-1 P.

Y la matriz de probabilidades de transición de n pasos se calcula a partir de la n-ésima potencia de la matriz de transición de un paso.

Cuando n es pequeña, este cálculo es válido, sin embargo cuando n es grande se acarrean un número excesivo de errores a consecuencia del redondeo.

...