École Polytechnique MAP 432 2020/2021

PC 3 (Chaînes de Markov : espace d’états dénombrable)

Exercice 1 (Salle d’attente).

On étudie l’évolution du nombre de personnes dans une salle d’attente. On suppose que si k ≥ 1 personnes
sont dans la salle d’attente, alors le prochain changement du nombre de personnes dans la salle d’attente
correspond à une arrivée avec probabilité p ∈ ]0, 1[ ou sinon à un départ (avec probabilité 1 − p donc). Si
k = 0, on considère qu’il y a une probabilité p de rentrer dans la salle d’attente (et donc 1 − p qu’elle reste
vide). Soit Xn le nombre de personnes dans la salle d’attente après le n-ième changement.
1. Montrer que (Xn )n∈N est une chaîne de Markov irréductible sur N. Donner sa matrice de transition.
2. Calculer les mesures invariantes.
3. Pour quelles valeurs de p existe-t-il une loi invariante ? Quand elle existe, la calculer.
4. Calculer le nombre moyen de personnes dans la salle d’attente en régime stationnaire, c’est-à-dire
sous la loi invariante.
Corrigé :

1. Il s’agit d’une marche aléatoire réfléchie sur N. En prenant une suite (Zn )n≥1 de v.a. i.i.d. telle que P(Z1 =
1) = p = 1 − P(Z1 = −1), on peut l’écrire comme la récurrence aléatoire
1 + Zn+1
Xn+1 = 1{Xn >0} (Xn + Zn+1 ) + 1{Xn =0} .
2
Les termes non nuls de P sont P (k, k + 1) = p et P (k, k − 1) = 1 − p pour k ≥ 1, ainsi que P (0, 0) = 1 − p et
P (0, 1) = p. L’irréductibilité est claire : pour 0 ≤ k < `, on a Pk (X`−k = `) = p`−k > 0 et P` (X`−k = k) =
(1 − p)`−k > 0.
2. L’équation de mesure invariante µ = µP se développe en
(
µ(0) = (1 − p)µ(0) + (1 − p)µ(1) ,
µ(k) = pµ(k − 1) + (1 − p)µ(k + 1) , k ≥ 1.

p
La première équation donne µ(1) = 1−p
µ(0) et une récurrence élémentaire montre que de façon générale
 k
p p
∀k ≥ 1 µ(k) = µ(k − 1) = µ(0).
1−p 1−p

Remarque : la chaîne (Xn ) est en fait réversible pour cette mesure stationnaire µ ; en effet, pour i ≥ 0, on a
 i  i+1
p p
µ(i)P (i, i + 1) = µ(0) × p = µ(0) × (1 − p) = µ(i + 1)P (i + 1, i).
1−p 1−p

3. La chaîne étant irréductible, il y aura au plus une mesure de probabilité stationnaire π, laquelle doit vérifier
la relation de récurrence ci-dessus et sommer à 1, i.e.
∞ ∞  k
X X p
π(k) = π(0) = 1.
1−p
k=0 k=0

Ceci implique tout d’abord p < 1/2, auquel cas la loi invariante π est donnée par
 k
1 − 2p p
∀k ≥ 0 π(k) = ,
1−p 1−p

autrement dit c’est la loi géométrique de paramètre (1 − 2p)/(1 − p), avec la convention selon laquelle T suit
une loi géométrique de paramètre r ∈ ]0, 1[ si T est à valeurs dans N et, ∀k ∈ N, P(T = k) = r(1 − r)k .
4. Si T suit une loi géométrique de paramètre r, alors E[T ] = (1 − r)/r puisque
∞ ∞
X X 1−r
E[T ] = kP(T = k) = r(1 − r) k(1 − r)k−1 = .
r
k=0 k=1

Dans notre cas, r = (1−2p)/(1−p), le nombre moyen de personnes en régime stationnaire vaut donc p/(1−2p).
Exercice 2 (Support d’une mesure de probabilité invariante).
Soit (Xn )n≥0 une chaîne de Markov sur un espace d’états E dénombrable de matrice de transition P =
(P (x, y))x,y∈E ; rappelons la notation Tx := inf{n ≥ 0 : Xn = x} pour tout x ∈ E.
1. (a) Montrer que pour toute paire d’états (x, y) on a
X X
P n (y, x) = Py (Tx < ∞) P n (x, x) .
n≥0 n≥0

P n (y, x) < ∞ pour tout y dans E.

P
(b) En déduire que si x est transitoire alors n≥0
(c) En déduire que si x est transitoire et π est une mesure de probabilité invariante alors π(x) = 0.
2. On suppose que x communique avec y, et que y ne communique pas avec x. Montrer que x est
transitoire. (Donc π(x) = 0 pour toute mesure de probabilité invariante π.)
Corrigé :

1. (a) Rappelons que P n (y, x) = Py (Xn = n). Si Xn = x, nécessairement Tx ≤ n et puisque {Tx = k} =

{X0 6= x, . . . , Xk−1 6= x, Xk = x}, on peut alors écrire l’événement {Xn = x} comme une union disjointe
d’événements, à savoir
[n
{Xn = x} = {Tx = k, Xn = x}.
k=0

La propriété de Markov à l’instant k donne alors

n
X n
X
P n (y, x) = Py (Tx = k, Xn = x) = Py (Tx = k)P n−k (x, x) .
k=0 k=0

En utilisant le théorème de Fubini, on obtient

X n
XX X X
P n (y, x) = Py (Tx = k)P n−k (x, x) = Py (Tx = k) P n−k (x, x)
n≥0 n≥0 k=0 k≥0 n≥k
X n
= Py (Tx < ∞) P (x, x) .
n≥0

Autre méthode : Nx := n≥0 1{Xn =x} vérifie Ey [Nx ] = n≥0 P n (y, x), et la propriété de Markov forte
P P
donne
Ey [Nx ] = Ey [Nx 1{Tx <∞} ] = Ey [1{Tx <∞} ]Ex [Nx ] = Py (Tx < ∞)Ex [Nx ] .
(b) Dans le cours, nous avons vu que x est transitoire si et seulement si
X n
Ex [Nx ] = P (x, x) < ∞.
n≥0

D’après la question précédente, ceci implique que, pour tout y dans E,

X n X n
P (y, x) = Py (Tx < ∞) P (x, x) < ∞.
n≥0 n≥0

(c) Par récurrence, π = πP n et en particulier

X
π(x) = π(y)P n (y, x) .
y∈E

n
Comme limn→∞ P (y, x) = 0 (la série converge), alors π(x) = 0 par convergence dominée.
Autre méthode : en utilisant le théorème de Fubini et la première question,
X X X n X X n
π(x) = π(y) P (y, x) = π(y)Py (Tx < ∞) P (x, x) ,
n≥0 y∈E n≥0 y∈E n≥0

donc X X
π(x) = Pπ (Tx < ∞) P n (x, x) < ∞ ,
n≥0 n≥0

ce qui implique bien π(x) = 0.

 2. Par définition de x →Py, on a Px (Ty < ∞) > 0. Or la chaîne ne pourra plus retourner en x après avoir
atteint y, donc Nx := n≥0 1{Xn =x} vérifie Px (Nx < ∞) ≥ Px (Ty < ∞). Donc Px (Nx < ∞) > 0, et x est
transitoire.

Exercice 3 (Processus de renouvellement).

Un composant d’un système est sujet à défaillance et à remplacement par un composant neuf de même type.
De façon i.i.d., si le composant en place au temps n ∈ N a un âge i ∈ N alors au temps n + 1 soit il reste en
place et atteint l’âge i + 1 avec probabilité ai ∈ [0, 1], soit il est remplacé par un élément neuf d’âge 0. On
note Xn l’âge du composant en place au temps n.
1. Montrer que (Xn )n∈N est une chaîne de Markov sur N de matrice P = (P (i, j))i,j∈N telle que
P (i, i + 1) = ai et P (i, 0) = 1 − ai , les autres termes étant nuls.
2. Donner une condition nécessaire et suffisante (CNS) pour que la chaîne soit irréductible.
On supposera cette condition désormais vérifiée. On pose b0 = 1 et bk = a0 a1 · · · ak−1 pour k ≥ 1.
3. Montrer que cette chaîne de Markov est :
(a) Récurrente si et seulement si bk → 0 quand k → ∞.
P
(b) Récurrente positive si et seulement si k bk < ∞.

Pour aller plus loin...

le 1/4h python : simulations du processus (Xn )
http://gerin.perso.math.cnrs.fr/QuartHeurePython/Notebook_TransienceRecurrence.html
Corrigé :

1. Soit Un pour n ≥ 1 une suite i.i.d. de v.a. uniformes sur [0, 1], indépendante de X0 . Alors

Xn+1 = (Xn + 1) 1{Un+1 ≤aXn } , n ≥ 0,

est une récurrence aléatoire correspondant à la description. Le calcul de P est immédiat.

2. La CNS est que ai > 0 pour tout i ≥ 0 et ai < 1 pour une infinité de i ≥ 0. On vérifie aisément que chacune
de ces deux conditions est nécessaire : si ai = 0 pour un certain i alors, partant de 0 (ou n’importe quel état
plus petit que i), la chaîne ne dépassera jamais i, tandis que si, à partir d’un certain rang i0 , on a ai = 1 pour
tout i ≥ i0 , alors partant de i0 la chaîne ne fait qu’avancer et n’atteindra jamais aucun état plus petit.
Sous ces deux conditions, on vérifie tout aussi aisément que la chaîne peut aller de n’importe Q quel état i vers
n’importe quel état j : si i < j, il suffit d’avancer j − i fois, ce qui se produit avec probabilité j−1
k=i ak , tandis
que si j < i, il suffit d’avancer jusqu’au premier instant Qi∗ −1i∗ ≥ i tel que ai∗ Q< 1, de revenir en 0, puis de
j−1
remonter jusqu’à j, ce qui se produit avec probabilité k=i ak × (1 − ai∗ ) × k=0 ak .
3. Puisque la chaîne est irréductible, il suffit d’étudier l’état 0. Soit T0+ = inf{n ≥ 1 : Xn = 0}. On sait d’après
le cours que la chaîne est transitoire si et seulement si P0 (T0+ = ∞) = limk→∞ P0 (T0+ > k) > 0, et est
récurrente sinon. Dans ce dernier cas, elle est récurrente positive si et seulement si E0 [T0+ ] < ∞, et récurrente
nulle sinon.
(a) Au vu de l’évolution du processus

P0 (T0+ > k) = P0 (X1 6= 0, . . . , Xk 6= 0) = P0 (X1 = 1, X2 = 2, . . . , Xk = k)

= P (0, 1)P (1, 2) · · · P (k − 1, k) = a0 a1 · · · ak−1 = bk .

Donc P0 (T0+ = ∞) = limk→∞ P0 (T0+ > k) vaut 0 si et seulement si bk → 0 quand k → ∞, auquel cas la
chaîne est récurrente. Sinon elle est transitoire.
(b) En utilisant une égalité classique (obtenue par le théorème de Fubini) puis le résultat ci-dessus,
X X
E0 [T0+ ] = P0 (T0+ > k) = bk .
k≥0 k≥0
P
Donc la chaîne est récurrente positive si et seulement si k≥0 bk < ∞.
1
Remarque : dans le 1/4h python, an = 1 − (n+2) α pour α > 0 et, comme expliqué, il est facile de montrer
que la chaîne est récurrente si et
P seulement si α ≤ 1. Pour voir à quelle condition elle est récurrente positive,
i.e. à quelle condition la série bn est convergente, on peut par exemple remarquer que bn+1 /bn = an et
appliquer la règle de Raabe-Duhamel. On en déduit qu’il y a récurrence positive si et seulement si α < 1.
Exercice 4 (Marche aléatoire symétrique dans Z2 ).
Soit (Xn , n ≥ 1) une suite de variables aléatoires à valeurs dans Z2 , indépendantes, de même loi et dont la
normePest de carré intégrable. On suppose que X1 a même loi que −X1 . On pose S0 = 0 et, pour n ≥ 1,
n
Sn = k=1 Xk . Ainsi définie, (Sn , n ≥ 0) est bien sûr une chaîne de Markov.
1. Montrer que P(S2n = 0) = x∈Z2 P(Sn = x)2 .
P

2 2 2 2
 2 2
 2

 x2 = (x1 , x2 ) ∈ Z , on note |x| = x1 + x2 et Bn = x ∈ Z : |x| < 2E |Sn | . Calculer
2. Pour
E |Sn | et en déduire que Card(Bn ) ≤ n/C pour une certaine constante C.
3. Montrer que
!2
1 X 1 X
P(Sn = x) ≤ P(Sn = x)2 .
Card(Bn ) Card(Bn )
x∈Bn x∈Bn

4. Montrer que P(S2n = 0) ≥ C/4n, puis en déduire que (Sn , n ≥ 0) est une chaîne de Markov récurrente.
Corrigé :

1. On a [
{S2n = 0} = ({Sn = x} ∩ {S2n − Sn = −x}) ,
x∈Z2

et les événements de droite sont bien sûr disjoints. De plus, Sn = n

P P2n
i=1 Xi et −(S2n −Sn ) =P i=n+1 (−Xi ) sont
indépendantes et de même loi par nos hypothèses. Ceci implique bien que P(S2n = 0) = x∈Z2 P(Sn = x)2 .
2. On a E[X1 ] = 0 donc E[Sn ] = 0, ppuis E[|Sn |2 ] =pnE[|X1 |2 ] ; par conséquent le disque Bn est strictement
inclus dans le carré de sommets (± 2nE[|X1 |2 ], ± 2nE[|X1 |2 ]), de sorte que
 lp m 2
Card(Bn ) ≤ 2 2nE[|X1 |2 ] − 1 ∼ 8nE[|X1 |2 ]
n→∞

donc il existe bien C tel que Card(Bn ) ≤ n/C.

3. C’est une application directe de l’inégalité de Jensen avec la probabilité uniforme sur Bn . En effet,
N
!2 N
X X
λi xi ≤ λi x2i
i=1 i=1

PN 2
si i=1 λi = 1 avec λi ∈ [0, 1] car x 7→ x est convexe. Ici λi = 1/Card(Bn ) et N = Card(Bn ).

Présenté autrement, si on note g(x) = P(Sn = x) et que Un suit la loi uniforme sur Bn , alors
!2
1 X 1 X
P(Sn = x) = E[g(Un )]2 ≤ E[g(Un )2 ] = P(Sn = x)2 .
Card(Bn ) x∈B Card(Bn ) x∈B
n n

4. Par l’inégalité de Markov, on a P |Sn |2 ≥ 2E[|Sn |2 ] ≤ 1/2, d’où l’on déduit que

P(Sn ∈ Bn ) = P |Sn2 | < 2E[|Sn |2 ] ≥ 1/2.

Il vient, pour n ≥ 1,
X X 1 C
P(S2n = 0) = P(Sn = x)2 ≥ P(Sn = x)2 ≥ P(Sn ∈ Bn )2 ≥ .
Card(Bn ) 4n
x∈Z2 x∈Bn
P
On a donc n∈N∗ P(Sn = 0) = +∞ et la chaîne de Markov est récurrente.