Cadenas de Markov

CADENAS DE MARKOV



Conozcamos a su creador...

Andréi Andréyevich Márkov (14 de junio de 1856 - 20 de julio de 1922) fue un matemático ruso conocido por sus trabajos en la teoría de los números y la teoría de probabilidades.
Márkov nació en Riazán, Rusia. Andréi estudió en un instituto de la ciudad de San Petersburgo. Desde el principio mostró cierto talento para las matemáticas y cuando se graduó en 1874 ya conocía a varios matemáticos de la Universidad de San Petersburgo, donde ingresó tras su graduación. En la Universidad fue discípulo de chebyshov y tras realizar sus tesis de maestría y doctorado, en 1886 accedió como adjunto a la Academia de Ciencias de San Petersburgo a propuesta del propio Chebyshov. Diez años después Márkov había ganado el puesto de académico regular. Desde 1880, tras defender su tesis de maestría, Márkov impartió clases en la Universidad y, cuando el propio Chebyshov dejó la Universidad tres años después, fue Márkov quien le sustituyó en los cursos de teoría de la probabilidad. En 1905, tras 25 años de actividad académica, Márkov se retiró definitivamente de la Universidad, aunque siguió impartiendo algunos cursos sobre teoría de la probabilidad.
Aunque Márkov influyó sobre diversos campos de las matemáticas, por ejemplo en sus trabajos sobre fracciones continuas, la historia le recordará principalmente por sus resultados relacionados con la teoría de la probabilidad. En 1887 completó la prueba que permitía generalizar el teorema central del límite y que ya había avanzado Chebyshov. Pero su aportación más conocida es otra.

Su trabajo teórico en el campo de los procesos en los que están involucrados componentes aleatorios (procesos estocásticos) darían fruto en un instrumento matemático que actualmente se conoce como Cadena de Markov: secuencias de valores de una variable aleatoria en las que el valor de la variable en el futuro depende del valor de la variable en el presente, pero es independiente de la historia de dicha variable. Las cadenas de Markov, hoy día, se consideran una herramienta esencial en disciplinas como la economía, la ingeniería, la investigación de operaciones y muchas otras.


Más cerca del proceso....

Se conoce como cadena de Márkov a un tipo especial de proceso estocástico discreto en el cual la probabilidad de que ocurra un evento depende del evento inmediatamente anterior, es decir tiene memoria. Esta dependencia del evento anterior distingue a las cadenas de Márkov de las series de eventos independientes, como tirar una moneda al aire.

Así, decimos que una cadena de Markov, representa la variación de estado en un sistema a lo largo del tiempo, siendo cada cambio una transición del sistema. El hecho de que ocurra algún cambio no está predeterminado, sin embargo la probabilidad de ocurrencia de un estado próximo está en función de los estados anteriores, esta probabilidad es constante a lo largo del tiempo, es decir el sistema es homogéneo en el tiempo. Eventualmente, en una transición, el nuevo estado puede ser el mismo que el anterior y es posible que exista la posibilidad de influir en las probabilidades de transición actuando adecuadamente sobre el sistema (decisión).
Al trabajar una cadena de Markov son necesarios diferentes factores como son:

  • Un grupo de estados, que consiste en el agrupamiento de estados que muestran las características que presenta el sistema en un momento dado.
  • La matriz de transición T, que consiste en una matriz cuadrada en la que se consignan los estados del sistema. En ella se ubican las probabilidades de que un estado permanezca en el mismo o pase a un estado diferente. Es necesario tener en cuenta que la suma de las probabilidades por fila, debe ser 1.
  • La matriz de composición actual P0, en ella se muestra la forma como estan distribuidas las probabilidades en cada uno de los estados para el periodo actual en que se trabaja.

Podemos ilustrar el tema con el siguiente ejemplo:
v  Se dice que la distribución de la población que utiliza telefonía móvil es:
·         Movistar: 30%
·         Tigo: 30%
·         Comcel: 40%
Además sabemos que:
1)   La población que está en Movistar tienen una probabilidad de 30% de permanecer en él, una de 50% de moverse a Tigo, y una de 20% para cambiarse a Comcel.
2)   La población que está en Tigo tienen una probabilidad de 70% de permanecer en él, una de 10% de moverse a Movistar, y una de 20% de cambiarse a Comcel.
3)   La población que están en Comcel tienen una probabilidad de 50% de permanecer en él, una de 30% de moverse a Tigo, y una de 20% de cambiarse a Movistar.



Con esta información construimos la matriz de composición actual:

Además de la matriz de transición T:


Los valores que encontramos en cada una de las celdas corresponden a la probabilidad de permanencia o cambio entre los diferentes estados.

Para hallar la matriz de composición para siguientes periodos, hacemos:
Donde:


Obteniendo así para los primeros 9 periodos:


Al analizar cada uno de los periodos, es fácil notar que el cambio que se presenta entre el estado 8 y 9 es prácticamente nulo, entonces los valores sombreados del periodo 9, corresponden a la distribución que se presenta en el estado estable.


Una cadena de Markov, presenta diferentes estados dados por la probabilidad de que un proceso, permanezca para siempre en el mismo estado, o se mueva a través de todos estos, de esta forma podemos definir:

  • El estado de transición, que es aquel que no llega a ser absorbente. En otras palabras, las probabilidades que se presentan cambian con el paso de los periodos.

  • El estado Absorbente, que no es más que aquel que estado en el que permanece el proceso indeterminadamente, es nula la probabilidad de que se presente un cambio de estado.

  • El estado recurrente, es aquel del cual se tiene certeza de volver en algún periodo, habiendo iniciado en el. En caso de que en la Cadena de Markov que identificamos un estado recurrente sea de una cantidad finita de estados, decimos que este será recurrente positivo, mientras si el estado recurrente está en una Cadena de Markov con infinitos estados, entonces será recurrente nulo.
Clasificamos a una Cadena de Markov, como Absorbente, si presenta estados transitorios y absorbentes, de la misma manera que se clasifica una Cadena de Markov como Regular o ergódica, si todos sus elementos son diferentes de 0 y 1, lo cual indica que el proceso tiene acceso directo a cada uno de los estados.


Para explicar lo que ocurre con la matriz absorbente realizaremos el siguiente ejemplo:

v  Una empresa maneja las cuentas de sus clientes como se muestra en la siguiente matriz de transición:



Hallar:
1)   La probabilidad de que una cuenta nueva se liquide
2)   La probabilidad de que una cuenta de un mes de retraso se convierta en una cuenta incobrable
3)   En cuantos meses debe esperar la empresa que un cliente nuevo promedio liquide su deuda
4)   Si las ventas de la empresa son en promedio US$ 125000 ¿Cuánto dinero se aceptaría como cuenta incobrable cada mes? ¿Cada año?
Para encontrar la solución, en primer identificamos el elemento no absorbente que llamamos N,


y la matriz identidad I,


Ahora hacemos (I - N), y obtenemos:




A la que le hallaremos la inversa, mediante el metodo de Gauss Jordan, y tendremos:


Ahora multimplicamos por la matriz absorbente


para obtener la probabilidad de llegar a estos estados y nos queda:

Entonces podemos dar solución a los interrogantes diciendo:
1)   La probabilidad de que una cuenta nueva se liquide es de 0,964
2)   La probabilidad de que una cuenta de un mes de retraso se convierta en una cuenta incobrable es de 0,12
3)   Para responder a esta pregunta sumamos las probabilidades que se presentan en la matriz inversa de (I – N), para el estado de cliente nuevo, entonces tenemos:

Así, 1,48 será la cantidad de meses que debe esperar la empres a que un cliente nuevo liquide su deuda.
4)   Para solucionar este interrogante, multiplicamos la cantidad de ingresos por la probabilidad de que una cuenta nueva se convierta en incobrable (0,036), así


Referencias:
TAHA, Handy; Investigación de operaciones, Ed. Pearson
El ejemplo ilustrativo, fue desarrollado durante la clase de explicación de la temática,por el Ing. Medardo Gonzalez.