UNIDAD 4 CADENAS DE MARKOV

Las cadenas de Markov reciben este nombre debido al matemático ruso

Andrei Markov, quien desarrolló la moderna teoría de procesos
estocásticos. Markov trabajó en la casi totalidad de los campos de la
matemática.

El proceso de Markov, consiste en asociar probabilidades a cada uno de los

posibles resultados dentro de cada línea de acción para un determinado
tiempo. De esta forma se podrá así determinar la probabilidad final de
encontrarse en un estado determinado en el tiempo especificado.
• Consideremos un sistema que está, en cualquier momento dado, en
uno y sólo un estado entre una cantidad finita de ellos.
• Ejemplos
• El clima en cierta área puede ser lluvioso o despejado
• Una persona puede fumar o no fumar
• Vivimos en un área urbana o rural
• Compramos un auto Chevrolet, Ford, Nissan, etc.
• Al pasar el tiempo, el sistema puede pasar de un estado a otro, y
supondremos que el estado del sistema es observado a períodos fijos
(digamos, cada día, cada hora, etc.).
• En muchas aplicaciones conocemos el estado actual del sistema y
queremos predecir el que tendrá en el siguiente período de
observación, o en cualquier otro. Con frecuencia podemos predecir, a
partir de datos históricos, la probabilidad de que el sistema esté en
cierto estado particular en determinado período de observación.
Definición. Una cadena de Markov o proceso de Markov es aquel en el que la
probabilidad de que el sistema esté en un estado particular en un período de
observación dado, depende solamente de su estado en el período de
observación inmediato anterior
• Las cadenas de Markov se aplican en diversas áreas de la administración como son
las de mercadotecnia, donde se utilizan para describir la lealtad de los clientes hacia
un producto dado; también se aplican a la planeación de personal, al manejo de
cartera para la correcta administración de las cuentas por cobrar y al análisis del
reemplazo de los equipos, los cuales pueden ser de transporte, o bien la maquinaria
de producción.
• Terminología
• Estado. Se define como el conjunto de condiciones bajo las cuales se
encuentra el sistema en un momento dado.
• Probabilidad de transición. Es la probabilidad de pasar de un estado a otro
distinto.
• Estado estable. Es un estado en el cual ya no hay cambios en el sistema, es
decir que se alcanza el equilibrio.
• Probabilidad de transición
• La probabilidad de transición (i,j=1, 2,…k) es la probabilidad de que ocurra
que, si el sistema está en el estado i en una observación cualquiera, esté en el
estado j en la siguiente observación
• Por ejemplo, si el estado 2 corresponde a un día lluvioso en Detroit y el
estado 3 a un día nublado, es la probabilidad de que cambie el tiempo
en Detroit de lluvioso a nublado en dos días consecutivos.
• Como son probabilidades, los números deben estar comprendidos en el
intervalo [0, 1].
• Además, para cualquier valor fijo de j=1,2,…k, debe tenerse que:
• + +…+=1
• Expresión que dice que si el sistema, en una observación, está en el
estado j estará con toda seguridad, en uno de los k estados cuando se
haga la siguiente observación.
• Concepto. Una matriz de transición P=[ es una matriz cuadrada, con
entradas no negativas, en la que la suma de cada columna es igual a la
unidad.
• Por lo que todo proceso de Markov, determina una matriz de transición.
A las matrices de transición se les llama también matrices de Markov,
matrices de probabilidad o matrices estocásticas.
 • Ejemplo
• Revisando los registros de donativos, la oficina de la sociedad de
alumnos de un colegio, encuentra que el 80 % de los alumnos que
contribuyeron a la integración del fondo anual, en un cierto año,
contribuirán también al año siguiente y que el 30 % de los que no
contribuyeron en ese año, también contribuirá al siguiente.
• Esta situación se puede describir como un proceso de Markov con 2
estados: el estado 1 corresponde a un alumno que da un donativo en un
año cualquiera y el estado 2 a un alumno que no da donativo en ese
mismo año.
• La matriz de transición del proceso es:
• P=
• Definición. Un vector de probabilidad es un vector columna, con entradas
no negativas, en el que la suma de sus elementos es igual a la unidad.
• Y se puede pronosticar el resultado de una observación futura de un
sistema que sea un proceso de Markov, en función de un vector de
probabilidad, si aplicamos la siguiente definición:
• Se dice que los vectores de probabilidad para n=0,1,…. son los
vectores de estado de un proceso de Markov, si la componente de
orden i, de , es la probabilidad de que el sistema esté en el estado i
cuando se hace la observación de n.
• En particular, al vector se le llama vector del estado inicial del
proceso de Markov.
• Teorema. Si P es la matriz de transición de un proceso de Markov y
es el vector de estado de la observación n, se tendrá que = P
• De este teorema se deduce que:
• =P
• =P =
• = =
• .
• .
• .
• = =
• Así, el vector de estado inicial y la matriz de transición P determinan a
para
• n=1,2,….
• Ejemplo
• Partimos de la matriz de transición previa
• P=
• Puede obtenerse un registro de los probables donativos de un nuevo
graduado que no dio su donativo en el año que siguió a su
graduación. Con este planteamiento, tenemos la seguridad de que el
sistema está inicialmente en el estado 2 por lo que el vector del
estado inicial es
• =
• estado
Y por el teorema 1
anterior, tenemos
estado 2
• == =
• = =

Así, después de 3 años, se puede

• = = = esperar que el alumno haga un
donativo con una probabilidad de
0.525
• Encontrar el vector de estado estable
• Realizar el cálculo con 3 decimales
• =

• =

• =
• =

• =

• =

• =

• =
• Vector de estado estable
• Para todos los valores de n mayores que once. Se tiene que =
 • Ejercicio
• Supongamos que el clima de Boca del Rio es lluvioso o despejado.
Como resultado de un amplio registro, se ha determinado que la
probabilidad de que se dé un día lluvioso después de un día
despejado es 1/3, y la probabilidad de que se tenga un día lluvioso
después de otro día lluvioso es ½. Sea D el estado de un día
despejado y R el de un día lluvioso.
• La matriz de transición es
• D R
• P= P=
• Suponemos que comenzamos nuestra observación (día 0) en un día
despejado, por lo que el vector de estado inicial es
• =
• Estado 0 lluvioso
• Estado 1 Despejado
• Encontrar el vector de estado estable
• = = = vector de estado día 1
• La probabilidad de que no llueva el día 1 es de 0.67, y la probabilidad de que llueva ese
día es 0.33.
• =

• =

• =

• =
• A partir del cuarto día, el vector de estado del sistema es siempre el mismo
• Significa que, a partir del cuarto día, no llueve en 60 % del tiempo y llueve 40 % del
tiempo.
 Ejemplo
Cada año, durante la temporada de siembra de marzo a septiembre, un
jardinero realiza una prueba química para verificar la condición de la
tierra. Según el resultado de la prueba, la productividad en la nueva
temporada puede ser uno de 3 estados (1) buena, (2) regular y (3) mala.
A lo largo de los años, el jardinero ha observado que la condición de la
tierra del año anterior afecta la productividad del año actual y que la
situación se describe mediante la siguiente cadena de Markov:
Estado del sistema este año

P=Estado del sistema el sig. año

Las probabilidades de transición muestran que la condición de la tierra

puede o deteriorarse o permanecer como está pero nunca mejorar. Por
ejemplo, si la condición de la tierra es buena en este año(estado 1) hay
20 % de que no cambie al año siguiente, 50 % de probabilidad de que
sea regular (estado 2), y 30 % de probabilidad de que se deteriorará a
una condición mala (estado 3). El jardinero modifica las probabilidades
de transición P utilizando un fertilizante orgánico. En este caso, la matriz
de transición, se vuelve:
• 1 2 3
• =
 • Ejercicio
• Una empresa dedicada a la investigación de mercados está analizando un gran grupo de
consumidores de café que compran una lata de café cada semana. Se ha determinado
que 50 % de las personas que actualmente utilizan la marca A, la comprarán de nuevo la
próxima semana, 25 % cambiará a la marca B y 25 % preferirá alguna otra. De las
personas que ahora consumen la marca B, 30 % la comprará otra vez la próxima
semana, 60 % optará por la marca A y 10 % cambiará a otra. De los consumidores que
actualmente compran otra marca, 30 % adquirirá de nuevo otra marca la próxima
semana, 40 % escogerá la marca A y 30 % cambiará a la marca B.

• Los estados A,B y D representan la marca A, la marca B y otra marca

respectivamente.
• Suponga que al iniciar el estudio, la marca A tiene 20 % del mercado,
la marca B tiene 20 % del mismo y las otras marcas el 60 % restante.
• a) Construir la matriz de transición y el vector de estado inicial
• b) Encuentre el vector de estado estable (con 4 cifras)
• a) A B D
• P= B =
A

D
• ==

• =

• ==

• ==
• =
Vector de estado estable

Significa que, a largo plazo, la marca A tendrá el control de cerca

de 51% del mercado, la marca B dominará más o menos 27% y
las otras• marcas
Diagrama de transición
22% restante
• 0.5
• 0.60 0.40
A

• 0.25 0.25

• 0.10
• 0.3 B 0.30 D 0.3
• Los estados se indican por medio de círculos y las flechas que
regresan al mismo estado del que salen, señalan las probabilidades
de que los clientes cambien a otro estado, por esto las flechas que
regresan al mismo estado del que salen, señalan las probabilidades
de que los clientes sean retenidos por esa marca respectiva.
• También es posible representar la matriz de transición por medio de
un diagrama de árbol, así para el caso anterior, si tenemos un cliente
que se encuentra en el estado B al inicio del periodo cero, su
diagrama será el siguiente.
Período
• Diagrama de árbol para la matriz de transición 2 2 períodos
para
Período 0 Período 1
A
• 0.5 B
0.25 A • 0.6 D
0.4 A
0.3
B B 0.25 B
0.3 D
0.3 0.3
D A
0.25
B
0.10
D
0.3
• En el diagrama se indican las probabilidades de que el cliente se
encuentre en un estado cualquiera en el período 2, las cuales son
probabilidades condicionales. Así estas probabilidades serán:
• Probabilidad condicional de que el cliente esté en A en el período 2
dado que estaba en B en el período cero.
• P(A,2/B,0)=0.25(0.50) + 0.3(0.25) + 0.3(0.25)=.125+.075+.075=.275
• Probabilidad condicional de que el cliente esté en B en el período 2,
dado que estaba en B en el período cero:
• P(B,2 / B,0)=0.25(.60) + 0.3(0.3) +0.3 (0.10)=0.27
• Probabilidad condicional de que el cliente esté en D en el período 2,
dado que estaba en B en el período cero:
• P(D,2 / B,0)=0.25(0.4) + 0.3(0.3) +0.3(0.3)= 0.28
• Cada una de estas 3 probabilidades se ha calculado mediante la
suma de 3 opciones que el cliente tiene de hallarse en el período 2 en
un estado dado cualquiera.
 • ejercicio
• En un país como Colombia existen 3 operadores principales de telefonía móvil como
lo son Tigo, Comcel y Movistar (estados).
• Los porcentajes actuales que tiene cada operador en el mercado actual son para
Tigo 0.4, para Comcel 0.25 y para Movistar 0.35 (estado inicial)
• Se tiene la siguiente información:
• Un usuario actualmente de Tigo tiene una probabilidad de permanecer en Tigo de
0.60, de pasar a Comcel 0.2 y de pasar a movistar de 0.2; si en la actualidad el
usuario es cliente de Comcel tiene una probabilidad de mantenerse en Comcel de
0.5, de que esta persona se cambie a Tigo 0.3 y que se pase a Movistar de 0.2; si el
usuario es cliente en la actualidad de Movistar la probabilidad que permanezca en
Movistar es de 0.4, de que se cambie a Tigo de 0.3 y a Comcel de 0.3.
• a) Elabore la matriz de transición
T C M
•
T
•C B) Encontrar el vector de estado estable (4 decimales)
M
• =

• =

• =

• =

• =
• =

• =

• = Vector de estado estable

• .3393
• a) Elabore el diagrama de árbol, partiendo de Comcel en el período cero
• b) Calcule las probabilidades condicionales, para un usuario que está en Tigo en el
período 2 dado que estaba en Comcel en el período cero

• c) Probabilidad condicional de que el usuario esté en Comcel en el período 2, dado

que estaba en Comcel en el período cero

• d) Probabilidad condicional de que el usuario esté en Movistar en el período 2, dado

que estaba en Comcel en el período cero.
 P= y ejercicio
Dada la matriz de transición y el vector de estado inicial
Encontrar el vector de estado estable

Los vectores de estado oscilan entre los vectores y no convergen a un vector fijo
Matriz regular
Con una condición impuesta a la matriz de transición, se puede demostrar que los vectores
de estado sí tienen como límite un vector fijo. Esta condición está dada por la siguiente
definición:
Una matriz de transición es regular si una potencia entera de la misma tiene todas sus
entradas positivas.
Así, dada una matriz regular de transición P, existe un entero positivo m tal que todas las
entradas de sean positivas.
 • CADENA ABSORBENTE
• Para quedar clasificado como cadena absorbente, un sistema debe cumplir dos
requisitos:
• Debe tener un estado absorbente y debe poder alcanzar ese estado. Un estado
absorbente es aquel del que no puede salirse
• Un estado absorbente tiene una probabilidad de transición hacia sí mismo de uno y de
cero hacia todos los demás estados, es decir, pij=1

0.4 0 0.1 0
• P=
0.3 1 01 0
0.2 0 0.6 0
0.1 0 0.2 1

• Los estados y son estados absorbentes

 • Cadena cíclica
Una cadena cíclica es la que se repite de manera determinística. Puede
reconocerse una cadena cíclica en una matriz de transición por la presencia de
un patrón de unos en dos o más renglones (un solo renglón no la haría cíclica).
El patrón debe ser una trayectoria cerrada entre los estados del ciclo y no
puede incluir ningún estado que no esté en él; además debe ser posible entrar
en el ciclo.
Ejemplo

0.5 0.2 0.3

0 0 1
0 1 0