dm1 Corr

Télécharger au format pdf ou txt
Télécharger au format pdf ou txt
Vous êtes sur la page 1sur 4

Université Paris 13, Institut Galilée MACS 2 – Probabilités

Année universitaire 2011-2012

Devoir Maison no 1 – Corrigé

Exercice 1. On considère la chaîne de Markov (Xn )n≥0 sur Z définie par X0 = 0 et par les probabilités
conditionnelles
1
P(Xn+1 = i + 1|Xn = i) = = P(Xn+1 = i − 1|Xn = i).
2
1. Déterminer les classes de cette chaîne de Markov, et sa période.
On constate que tous les états communiquent entre eux : si on note P la matrice (infinie) de transition,
P (i, i + 1) > 0 et P (i + 1, i) > 0 pour tout i ∈ Z donc i ↔ i + 1, et ainsi i ↔ i + 1 ↔ i + 2 et, par
récurrence, i ↔ j pour tous entiers i ≤ j, comme annoncé. Il n’y a donc qu’une classe, Z, autrement
dit la chaîne de Markov est irréductible.
Il suffit donc de déterminer la période de 0. L’ensemble E = {n ≥ 1|P n (0, 0) > 0} ne contient pas
1 puisque P (0, 0) = 0. En revanche, 2 ∈ E puisque P 2 (0, 0) ≥ P (0, 1)P (1, 0) > 0 ; et E ne contient
aucun entier impair puisque la chaîne de Markov, partant de 0, doit effectuer autant de transitions
vers la droite que vers la gauche (donc au total un nombre pair) pour revenir en 0. Par suite, la période
vaut d(0) = pgcd(E) = 2.
2. Déterminer les mesures invariantes pour cette chaîne de Markov.
ν est une mesure invariante si, pour tout j ∈ Z, ν(j) = i∈Z ν(i)P (i, j), ce qui se réduit ici à
P

1
ν(j) = (ν(j − 1) + ν(j + 1)) .
2
Ainsi, la suite (ν(i))i∈Z satisfait une récurrence du second ordre, de polynôme caractéristique X 2 −
2X −1 = (X −1)2 . Ce polynôme a 1 pour racine double donc les solutions sont de la forme ν(n) = (An+
B)1n = An + B ∀n ∈ Z, où A, B ∈ R. On connaît souvent le théorème dans le cas de suites indexées
par N mais il est en fait vrai ici aussi, par la même preuve : l’espace vectoriel des suites (ν(n))n∈Z
qui satisfont la relation de récurrence est toujours de dimension 2 (une solution est déterminée par
exemple par ν(0) et ν(1)), et on vérifie que les solutions dans le cas des suites indexées par N sont
encore des solutions quand on les étend aux indices négatifs.
De plus, une mesure est à valeurs positives, ce qui impose A = 0 (si A > 0, ν(i) → −∞ en −∞ donc
ν prend des valeurs négatives et de même, si A < 0, ν(i) → −∞ en +∞), et donc ν(i) = B pour tout
i, d’où B ≥ 0. Finalement, les mesures invariantes sont les mesures définies par ν(i) = B pour tout
i ∈ Z, où B est un réel positif.
3. On note N0 le nombre de passages en 0. Montrer que

X ∞
X
E[N0 ] = P(Xn = 0) = P(X2k = 0).
n=0 k=0

(Exprimer N0 à l’aide de fonctions indicatrices)


En écrivant

X
N0 = 1{Xn =0} ,
n=0

on obtient, par linéarité de l’espérance (et par théorème de convergence monotone),


"∞ # ∞
X X
E[N0 ] = E 1{Xn =0} = E[1{Xn =0} ],
n=0 n=0

et le fait que E[1A ] = P(A) pour tout événement A donne la première égalité attendue. La seconde
vient de la remarque faite à la question 1 selon laquelle P n (0, 0) = 0 si n est impair.

1
4. Rappeler pourquoi, si 0 est transient, E[N0 ] < ∞.
Si un état x est transient, on sait par le cours que le nombre de visites en cet état suit une loi géomé-
trique de paramètre Px (τx = ∞) (> 0 vu que x est transient). En particulier, Ex [Nx ] = Px (τx1=∞) < ∞.

5. Montrer que  
1 2k
P(X2k = 0) = .
22k k
En déduire que
1
P(X2k = 0) ∼ √ .
k→∞ πk

Pour avoir X2k = 0, partant de X0 = 0, il faut et il suffit que parmi les 2k premières transitions de la
chaîne
 de Markov, il y ait k transitions vers la droite (i → i+1) et k vers la gauche (i → i−1). Il existe
2k
k façons de choisir quelles transitions sont vers la droite, et chaque possibilité a pour probabilité
1 2k
2k 2k
vu la définition de P . D’où, en sommant sur les différentes possibilités, P(X2k = 0) = 21 k .

2
Autre écriture, sous forme de formule :
X
P(X2k = 0) = P(X1 = X0 + ε0 , . . . , X2k = X2k−1 + ε2k−1 )
ε0 , . . . , ε2k−1 ∈ {−1, 1}
tels que ε0 + · · · + ε2k−1 = 0
X
= P (0, ε0 )P (ε0 , ε0 + ε1 ) · · · P (ε0 + · · · + ε2k−2 , ε0 + · · · + ε2k−2 + ε2k−1 )
idem
X  1 2k  2k
1
= =N ,
2 2
idem

où N est le nombre de termes de la somme, c’est-à-dire 2kk , vu que la condition ε0 + · · · + ε2k−1 = 0




équivaut à dire qu’il y a k termes égaux à +1 et k égaux à −1, et le nombre de choix de k termes
parmi 2k est 2k .

k  √
n n
L’équivalent de P(X2k = 0) = 41k (2k)!
k!2 vient de la formule de Stirling n! ∼ e 2πn : substituer et
simplifier.

6. Conclure : quelle la nature de la chaîne ? (Si elle est récurrente, préciser récurrente nulle ou positive)

Vu l’équivalent trouvé à la question 5, la série k P(X2k = 0) diverge, c’est-à-dire, par la question 3,


P
E[N0 ] = ∞ et donc, par la question 4, 0 est récurrent. Par la question 1, la chaîne est irréductible,
donc tous les états sont
P récurrents. De plus, par la question 2, on sait qu’il n’y a pas de probabilité
invariante (la somme k ν(k) vaut 0 si B = 0 et ∞ sinon, donc jamais 1). Par suite, la chaîne de
Markov est récurrente nulle.
Exercice 2 – Mesure réversible. Soit X = (Xn )n≥0 une chaîne de Markov sur un espace d’états E.
On suppose qu’il existe une mesure π telle que, pour tous x, y ∈ E,

π(x)p(x, y) = π(y)p(y, x).

π est appelée une mesure réversible pour X.


1. Montrer que π est une mesure invariante pour X.
Pour tout état y, on a
X X
π(x)p(x, y) = π(y)p(y, x) [par la réversibilité]
x∈E x∈E
X
= π(y) p(y, x)
x∈E
= π(y) [car la somme de chaque ligne de la matrice de transition vaut 1]

ce qui montre que π est invariante.

2
2. On suppose de plus que π est une mesure de probabilité. Quelle est la loi de Xn si la loi initiale est π ?
Montrer, pour n ∈ N et x, y ∈ E,

Pπ (Xn = y|Xn+1 = x) = p(x, y).

Si X0 suit la loi π, alors X1 suit la loi πP = π et, de proche en proche, Xn suit la loi π pour tout n.
On a
Pπ (Xn = y, Xn+1 = x)
Pπ (Xn = y|Xn+1 = x) =
Pπ (Xn+1 = x)
Pπ (Xn = y)p(y, x)
=
Pπ (Xn+1 = x)
π(y)p(y, x)
= [vu la remarque précédente]
π(x)
= p(x, y) [par la réversibilité].

3. Soit N ≥ 1. Montrer, pour 0 ≤ n ≤ N et xn , . . . , xN ∈ E,

Pπ (Xn = xn |Xn+1 = xn+1 , Xn+2 = xn+2 , . . . , XN = xN ) = p(xn+1 , xn ).

Que signifie cette propriété ?

On a

Pπ (Xn = xn |Xn+1 = xn+1 , Xn+2 = xn+2 , . . . , XN = xN )


Pπ (Xn = xn , Xn+1 = xn+1 , . . . , XN = xN )
=
Pπ (Xn+1 = xn+1 , . . . , XN = xN )
Pπ (Xn = xn )p(xn , xn+1 ) · · · p(xN −1 , xN )
=
Pπ (Xn+1 = xn+1 )p(xn+1 , xn+2 ) · · · p(xN −1 , xN )
π(xn )p(xn , xn+1 )
=
π(xn+1 )
=p(xn+1 , xn )

avec les mêmes justifications qu’à la question précédente. Ainsi, en quelque sorte, le passé dépend
du futur de la même manière que le futur dépend du passé, à savoir uniquement en fonction du
présent (Xn+1 = xn+1 ci-dessus) et via la matrice p. Plus précisément, cette propriété montre que,
si la loi initiale est π (la loi invariante, supposée réversible), alors le processus (Yn )0≤n≤N défini par
Yn = XN −n pour 0 ≤ n ≤ N est une chaîne de Markov, de loi initiale π, de matrice de transition p. En
effet, en posant n = N − m et yi = xN −i pour tout i, on peut réécrire l’égalité de la question comme

Pπ (Ym = ym |Ym−1 = ym−1 , . . . , Y0 = y0 ) = p(ym−1 , ym ).

Ceci justifie l’appellation « réversible » : en lisant la chaîne de Markov à l’envers (de XN vers X0 ), on
observe une chaîne de Markov ayant même loi (même mesure initiale, même matrice de transition), à
supposer que la loi initiale soit la loi invariante.

Exercice 3. On répartit dans deux urnes un total de N boules (par exemple, N à gauche et 0 à droite).
À chaque instant n ≥ 0, on tire une boule au hasard, uniformément parmi les N boules, et on la dépose
dans l’urne opposée à celle où elle se trouvait.
1. On note Xn le nombre de boules dans la première urne avant le n-ième tirage. Justifier que (Xn )n est
une chaîne de Markov sur E = {0, . . . , N } et donner sa matrice de transition.

Notons d’abord que, pour tout n ≥ 0, Xn est bien à valeurs dans {0, . . . , N } puisque le nombre total
de boules ne change pas ; de plus, Xn+1 = Xn − 1 si la boule tirée vient de la premir̀e urne (qui en

3
contient Xn ), et Xn+1 = Xn + 1 si elle vient de la deuxième (qui en contient N − Xn ). Puisque le
sujet suppose implicitement que les tirages sont indépendants, on a donc, pour tous x0 ,. . . ,xn ,
xn
P(Xn+1 = Xn − 1|X0 = x0 , . . . , Xn = xn ) =
N
et
N − xn
P(Xn+1 = Xn + 1|X0 = x0 , . . . , Xn = xn ) = ,
N
ce qui montre que (Xn )n est une chaîne de Markov de matrice de transition P donnée par

x N −x x
P (x, x + 1) = et P (x, x − 1) = =1− .
N N N
(et P (x, y) = 0 si y ∈
/ {x − 1, x + 1}).
2. Déterminer les éventuelles mesures réversibles pour la chaîne de Markov (cf. exercice précédent). Quelle
est la loi invariante pour (Xn )n ?
Une mesure ν est réversible si, pour tous états x, y, ν(x)P (x, y) = ν(y)P (y, x). Ici, les deux termes
sont nuls si y ∈
/ {x − 1, x + 1} donc il suffit de vérifier, pour tout 0 ≤ x < N , ν(x)P (x, x + 1) =
ν(x + 1)P (x + 1, x), c’est-à-dire

N −x x+1
ν(x) = ν(x + 1) .
N N
On a donc
N N −1 N (N − 1) N −2 N (N − 1)(N − 2)
ν(1) = ν(0), ν(2) = ν(1) = ν(0), ν(3) = ν(2) = ν(0)
1 2 2 3 2·3
et on montre par récurrence que, pour 0 ≤ x ≤ N ,
 
N (N − 1) · · · (N − x + 1) N
ν(x) = ν(0) = ν(0).
x! x

Pour ν(0) ≥ 0, ce sont les mesures réversibles. Vu l’exercice précédent, ces mesures sont invariantes.
Pour obtenir la probabilité invariante π, on calcule la masse totale :
N N   N  
!
X X N X N x N −x
ν(x) = ν(0) = 1 1 ν(0) = (1 + 1)N ν(0) = 2N ν(0)
x=0 x=0
x x=0
x

(par la formule du binôme de Newton), donc la masse totale vaut 1 lorsque ν(0) = 2−N . Autrement
dit, la loi invariante est la loi π donnée par
 
1 N
π(x) = N .
2 x

C’est la loi binomiale de paramètre (N, 12 ).

3. Calculer la période de la chaîne. Que pouvez-vous dire de la limite en loi de (Xn )n≥0 ?
Il suffit de considérer la période de l’état 0 (la première urne est vide) puisque la chaîne est irréductible.
Pour que la première urne soit à nouveau vide, il faut qu’il y ait eu autant d’échanges dans un sens
que dans l’autre, ce qui n’est possible qu’après un nombre pair d’échanges. De plus, c’est possible
après 2 échanges (P 2 (0, 0) ≥ P (0, 1)P (1, 0) > 0). Comme dans l’exercice 1, la période est donc 2. La
chaîne n’est pas apériodique, donc (Xn )n ne converge pas en loi vers π. En revanche, par le théorème
du cours, (X2n )n converge en loi vers π0 et (X2n+1 )n vers π1 données par, pour 0 ≤ x ≤ N/2,
   
1 N 1 N
π0 (2x) = 2 N et π1 (2x + 1) = 2 N .
2 2x 2 2x + 1
C’est-à-dire Pν (X2n = 2x) →n π0 (2x) et Pν (X2n+1 = 2x + 1) →n π1 (2x + 1) où ν est quelconque.

Vous aimerez peut-être aussi