Support Cours MEPS 2021 Chaines de Markov
Support Cours MEPS 2021 Chaines de Markov
Support Cours MEPS 2021 Chaines de Markov
Exemple : Considérons l’experience aléatoire résultant du lancer d’un dé : Ω = {1, 2, 3, 4, 5, 6}.
On associe à cette experience la variable aléatoire définie par : X(ω) = −1 si ω ≤ 3 et X(ω) = 1 si
ω ≥ 4. Ainsi, l’espace d’états E = {−1, 1}.
Remarque : Une variable aléatoire est dite discrète lorsque E ⊆ Z ou bien continue lorsque
E ⊆ IR.
Chaı̂ne de Markov : Une chaı̂ne de Markov est un processus markovien à espace d’état discret,
qui peut être fini ou infini mais dénombrable (E ⊆ IN ).
— Si T ⊆ Z (ou IN ), le processus est une chaı̂ne de Markov à temps discret.
∗. Pr. N. GHARBI, Département Informatique - USTHB
1
— Si T ⊆ IR (ou [0, +∞[), le processus est une chaı̂ne de Markov à temps continu.
Ainsi, la probabilité pour que la chaı̂ne soit dans un certain état à la nième étape du processus
ne dépend que de l’état du processus à l’étape précédente (la n-1 ième étape) et pas des états dans
lesquels il se trouvait aux étapes antérieurs.
Nous nous interéssons particulièrement aux CMTD homogènes où les probabilités P [Xn = j |
Xn−1 = i] ne dépendent pas de n. On peut alors définir la probabilité de transition d’un état i vers
un état j, pij qui ne dépend pas de l’étape n :
Notons que pii ≥ 0 car il est possible de rester dans un même état i entre deux étapes consécutives.
2
1/2 3/5
1/2
0 1
2/5
On suppose que la probabilité que le processeur tombe en panne le jour n sachant qu’il était la
veille en bon état est de 50% et que la probabilité qu’il soit réparé est de 40%.
( d’états E) = {0, 1}
L’espace
1/2 1/2
P =
2/5 3/5
(0) (0)
La distribution de l’état initial est : π (0) = [π0 , π1 ] = [0, 1] ou [1, 0]
La matrice P comprend les probabilités de transition en une seule étape (pij ), tandis que la ma-
(n)
trice P n comprend les probabilités de transition en n étapes (pij ).
(n)
pij : représente la probabilité de transition de l’état i à l’état j en n étapes. Elle est définie par :
(n)
pij = P [Xk+n = j | Xk = i] = P [Xn = j | X0 = i], ∀k ∈ IN .
Cette relation exprime le fait que pour aller de l’état i à l’état j en n étapes, on peut aller de
l’état i à l’état k en m étapes, puis aller de cet état k à l’état j en n − m étapes, et ce pour tous les
états k (d’où la somme).
3
1 0.5 2
0.25 0.5
6 0.5
0.25
1 1 3
1
7 0.5
1
4 5
0.5
Remarque : L’évolution de la distribution des états π (n) dépend de la distribution initiale π (0) .
Exemple 2.2 : Cette CMTD est non irréductible car par exemple de l’état 6 on ne peut pas
atteindre l’état 1. Cette chaı̂ne comporte deux sous-chaı̂nes absorbantes : {6, 7} et {3, 4, 5}. Ces
dernières sont telles qu’une fois dans un des états qu’elles comportent, on ne peut plus en sortir.
Ainsi, toute CMTD non irréductible (réductible) possède au moins une sous-chaı̂ne
absorbante.
4
états états
Une CMTD est dite périodique si sa période est supérieure à 1 (et apériodique si sa période est
égale à 1).
Exemple : Dans l’exemple précédant, l’état 6 est périodique de période D(6) = 2 et l’état 4 est
apériodique car D(4) = P GCD{2, 3} = 1. Ainsi, la CMTD est apériodique.
Ainsi, une première classification des états d’une CMTD consiste à dire si l’état
est apériodique ou bien périodique. Dans ce dernier cas, préciser sa période. Une
deuxième classification consiste à montrer si l’état est transitoire, récurrent nul ou
récurrent non nul.
Propriété : Tous les états d’une CMTD irréductible sont de même nature : soit tous transi-
toires, soit tous récurrents nuls, soit tous récurrents non nuls. Si de plus les états sont périodiques,
ils sont tous de même période.
Propriété : Une CMTD finie ne peut comporter que des états transitoires ou récurrents non
nuls. Ainsi, un état récurrent nul ne peut donc exister que dans une CMTD infinie.
Propriété : Tous les états d’une CMTD irréductible finie sont récurrents non nuls.
5
Le temps moyen (nombre d’étapes moyen nécessaire à la transition d’un état i à un état j est
défini par :
∑
Mij = 1 + k̸=j pik .Mkj .
Propriété :
Une chaı̂ne de Markov à temps discret finie est ergodique si et seulement si elle est apériodique et
irréductible.
Définition : Stationnarité
Une chaı̂ne de Markov admet une distribution stationnaire sur ses états si elle est ergodique.
Ainsi, si la CMTD est ergodique, le système qu’elle modélise se stabilise après l’écoulement
d’un temps infini et il existe toujours une seule distribution des probabilités stationnaires π qui est
indépendante de la distribution initiale et qui est solution du système d’équations linéaires suivant :
{
π.P
∑ =π
i∈E πi = 1
6
et ∀t0 < t1 < ... < tn .
En d’autres termes, la probabilité pour que la chaı̂ne soit dans un certain état à l’instant tn ne
dépend donc que de l’état du processus à l’instant tn−1 et pas des états dans lesquels il se trouvait
aux instants antérieurs (t0 , ..., tn−2 ).
DÉFINITION :
Une chaı̂ne de Markov à temps continu est caractérisée par :
— Le temps passé dans tout état i de la chaı̂ne est une variable aléatoire distribuée selon la loi
exponentielle de taux µi ;
— Les transitions d’un état i vers les autres états sont probabilistes.
Remarque : Dans les CMTC, nous considérons les taux de transition au lieu des probabilités
de transition d’état. En fait, le temps de transition de l’état i à l’état j est distribué selon une loi
exponentielle de taux µij = µi .pij , où pij est la probabilité de se rendre dans l’état j en quittant
l’état i et le temps passé dans l’état i est exponentiel de taux µi .
{
∑n µij si i ̸= j
qij =
− k=1,k̸=i µik si i = j
où :
— n correspond au nombre d’états de la chaı̂ne de Markov.
— µij désigne le taux de la distribution associée à la transition de l’état i à l’état j. S’il n’y
a pas de transition, l’élément est nul.
Définition : La CMTD incluse dans la CMTC de générateur infinitésimal Q, dont les termes qij
(i ̸= j) sont donnés par µij = µi .pij , est une chaı̂ne de Markov à temps discret dont la matrice de
transition a pour éléments les pij (voir Fig. ??).
Ainsi, si la CMTC est caractérisée par des taux de transition µij entre états, les probabilités de
transition de la chaı̂ne incluse sont données par :
7
j j
µij pij
i ⇒ i
µik pik
k k
µij µij
pij = = ∑
µi k̸=i µik
Soit un état i d’une CMTC, avec une transition vers l’état j et une autre vers l’état k. Le temps
passé dans l’état i est exponentiel de taux µi . Partant de l’état i, la variable aléatoire mesurant le
temps de transition vers l’état j (resp. état k) suit une loi exponentielle de taux µij (resp. µik ). On
a alors :
µi = µij + µik
µij = µi .pij
µik = µi .pik
µij
pij = µij +µ ik
pik = µijµ+µ
ik
ik
Par ailleurs, pour savoir lequel des états j ou k sera visité en sortant de i, on ”tire” une réalisation
particulière pour chacune de ces deux variables aléatoires (suivant respectivement des lois exponen-
tielles de taux µij et µik ). La plus petite des deux valeurs générées correspond à la transition qui sera
effectivement empruntée.
De même que dans les CMTD, pour définir la nature d’un état, on calcule la probabilité d’y
revenir un jour lorsqu’on le quitte. Or, pour obtenir cette valeur, on a besoin des probabilités de
cheminement (transition) dans le graphe, d’où l’intérêt de la chaine incluse, car le temps passé dans
un état fournit seulement des informations sur la vitesse à laquelle on circule dans le graphe. Ainsi,
la nature de tout i dans une CMTC est la même que celle du même état dans la CMTD incluse.
Propriété : Une CMTC est irréductible si et seulement si la CMTD incluse est irréductible.
En termes de graphe, une chaı̂ne de Markov est irréductible, si et seulement si elle comporte une
unique composante fortement connexe.
8
Propriété : Dans une CMTC erogodique, le vecteur π des probabilités stationnaires πi =
limt→∞ πi (t) existe toujours et est l’unique solution du système matriciel suivant :
{
π.Q
∑ =0
i∈E πi = 1
La résolution de ce système d’équations, nous donnerait les probabilités stationnaires des différents
états, ou encore la proportion de temps que le processus passe (en régime stationnaire) dans ces
différents états.
Remarque : À l’état stationnaire, pour tout état j, le flux sortant de j = flux entrant dans j.
Cette equation est dite : equation d’état.