Le principe de la loi forte des grands nombres est que sous certaines conditions (sur la dépendance, sur l'homogénéité et sur les moments) la moyenne d'une suite de variables aléatoires
converge presque sûrement vers la même limite (constante) que l'espérance de la moyenne. En particulier, l'adjectif « fort » fait référence à la nature de la convergence établie par ce théorème : il est réservée à un résultat de convergence presque sûre. Par opposition, la loi faible des grands nombres, établie par Bernoulli, est un résultat de convergence en probabilité, seulement. Soit :
Principe général —
Il existe différents théorèmes selon le type d'hypothèses faites sur la suite
[2] :
- observations indépendantes et identiquement distribuées,
- observations indépendantes et non identiquement distribuées,
- observations dépendantes et identiquement distribuées.
Observations indépendantes et identiquement distribuées
modifier
C'est la première loi forte à avoir été démontrée avec des hypothèses optimales. Pour la démontrer, il fallait définir rigoureusement le concept de convergence presque sûre, ce qui a amené Kolmogorov à considérer les probabilités comme une branche de la théorie de la mesure, un saut conceptuel dont Kolmogorov prouvait ainsi l'efficacité. La théorie moderne des probabilités s'est construite à partir du travail fondateur de Kolmogorov sur la loi forte des grands nombres. La loi forte des grands nombres est aussi un ingrédient important dans la démonstration d'autres lois fortes des grands nombres, comme le théorème de Glivenko-Cantelli, la LFGN pour les processus de renouvellement, ou la LFGN pour les chaînes de Markov. C'est bien du théorème dû à Kolmogorov que l'on parle lorsqu'on dit « la loi forte des grands nombres », les autres théorèmes n'étant que des lois fortes des grands nombres. Ce théorème est aussi intéressant parce qu'il aboutit à une conclusion plus forte : il établit l'équivalence entre l'intégrabilité de la suite et sa convergence, alors que les autres théorèmes fournissent seulement des implications, sans leurs réciproques. Dans le cas où les termes de la somme sont des variables de Bernoulli, la loi forte des grands nombres a été établie par Émile Borel en 1909. D'autres versions de la loi forte des grands nombres ont succédé à la version due à Borel, jusqu'à la version définitive de Kolmogorov.
Observations indépendantes et non-identiquement distribuées
modifier
Pour pouvoir relâcher l'hypothèse d'équidistribution, on est amené à faire une hypothèse plus forte sur l'intégrabilité.
Observations dépendantes et identiquement distribuées
modifier
1re étape de la démonstration : troncature
modifier
On suppose tout d'abord que les variables
sont centrées. On n'abandonnera cette hypothèse qu'à la toute dernière étape de la démonstration. On pose
et
Dans cette section on démontre que
Démonstration
Posons
Alors
la 3e égalité car
et
ont même loi, la dernière égalité en vertu du Théorème de convergence monotone pour les séries à termes positifs. Notons que la fonction
définie pour
par
satisfait, pour
,
Ainsi
En vertu du lemme de Borel-Cantelli, il suit que
On note
et on remarque que si
, la série
est une série convergente, puisque, en dehors d'un nombre fini d'entre eux, tous ses termes sont nuls.
Ainsi la suite des sommes partielles,
est une suite convergente, donc bornée, ce qui entraîne que
Autrement dit, en vertu du lemme de Borel-Cantelli, dont les hypothèses ont été vérifiées lors de la première partie de cette démonstration,
De plus, les quelques lignes qui précèdent montrent que
et il suit donc que
Par ailleurs, il est clair que
On a donc bien
puisque, par exemple,
Dans les sections suivantes on va donc démontrer que
L'idée est que plus les variables concernées sont intégrables, i.e. plus la queue de distribution
décroît rapidement, plus il est facile de démontrer la loi forte des grands nombres à l'aide du lemme de Borel-Cantelli. Ainsi il est facile de démontrer une forme affaiblie de la loi forte des grands nombres, par exemple sous l'hypothèse que les variables
sont indépendantes, identiquement distribuées et bornées, auquel cas
est nulle pour
assez grand, ou bien sous l'hypothèse, moins brutale, que les variables
sont indépendantes et identiquement distribuées et possèdent un moment d'ordre 4, auquel cas
.
Ici, en tronquant les
, Kolmogorov s'est ramené à des variables
bornées et indépendantes, mais qui n'ont pas même loi.
2e étape de la démonstration : recentrage
modifier
Les
ont beau être centrées, cela n'entraîne pas que les
soient centrées, sauf si on suppose, par exemple, que les
sont symétriques, c'est-à-dire sauf si
a même loi que
. Par exemple, si
, alors, dès que
n'est pas centrée. Il est commode, pour la suite, de centrer les
: on pose
et
Alors
Démonstration
Un calcul simple donne que
la différence ne dépendant pas de
(n'étant pas aléatoire). Par ailleurs
En effet
et
ont même loi, et, d'autre part, pour tout
,
On peut donc appliquer le Théorème de convergence dominée de Lebesgue, et obtenir
Finalement, on sait, en vertu du lemme de Cesàro, que la convergence d'une suite (
) entraîne sa convergence en moyenne de Cesàro (
), donc, pour tout
,
La Proposition 2 est donc démontrée.
C'est l'étape où Kolmogorov utilise l'hypothèse d'indépendance (et, sans le dire, la notion de temps d'arrêt). Par contre, l'Inégalité de Kolmogorov ne requiert pas des variables de même loi.
Démonstration
Si
, l'inégalité est vérifiée. Dans la suite, on suppose que
On pose
On remarque alors que, pour
,
En effet
, alors que
Ainsi pour deux boréliens quelconques
et
, les deux évènements
appartiennent aux tribus
et
, respectivement. Ils sont donc indépendants en vertu du lemme de regroupement, ce qui implique bien
. On a
où la troisième inégalité s'obtient en développant le carré en deux termes carrés (dont l'un est supprimé pour minorer l'expression précédente) et un double produit (de deux variables indépendantes, en vertu de
). L'égalité suivante tient à ce que
est centrée (comme somme de v.a. centrées), et la dernière inégalité découle de la définition du temps d'arrêt
: par définition, au temps
, on a
. En faisant tendre
vers l'infini on obtient
C.Q.F.D.
4e étape : Convergence de séries de variables aléatoires
modifier
L'inégalité de Kolmogorov est, avec le lemme de Borel-Cantelli, l'ingrédient essentiel de la preuve de la proposition suivante :
Démonstration
On pose
En vertu de la convergence de la série de terme général
, la suite
converge vers 0.
On applique l'inégalité de Kolmogorov à la suite
Avec les notations de l'inégalité de Kolmogorov, on a
Donc l'inégalité de Kolmogorov nous donne, pour tout
et
,
Notons que la suite de variables aléatoires
, définie par
est décroissante, puisque la suite d'ensembles
, définie par
est décroissante. De plus
satisfait à
On en déduit que, pour tout
,
La suite
convergeant vers 0, il suit que, pour tout
, on peut choisir
tel que
Ainsi
et le lemme de Borel-Cantelli entraîne que, presque sûrement, à partir d'un certain rang,
est majorée par
et donc que
converge presque sûrement vers 0. Par ailleurs, on a vu plus haut que pour tout
,
est une suite décroissante en
Une suite décroissante possédant une sous-suite convergente est elle-même convergente, donc
converge presque sûrement vers 0. Or
C.Q.F.D.
Démonstration
La démonstration ci-dessous vaut seulement pour
,
, mais la démonstration de la loi forte utilise le lemme de Kronecker pour
,
. On peut trouver une démonstration générale du Lemme de Kronecker ici.
Posons
Alors
Comme la suite
est convergente, il existe un réel
tel que
Donc la suite de fonctions
définies sur
par
est une suite de fonctions uniformément bornées par
(en valeur absolue). De plus, pour tout
,
Ainsi le théorème de convergence dominée de Lebesgue donne
Comme on a
, en observant le second terme de l'identité
démontrée plus haut, on en déduit que
C.Q.F.D.
Cette démonstration est empruntée à Sydney Resnik, A probability path.
Pour conclure sa démonstration, Kolmogorov utilise le lemme de Kronecker avec
, voir section suivante.
6e étape : Conclusion dans le cas de variables centrées
modifier
Lemme 1. — Avec les notations de l'étape « recentrage », on a
Démonstration
Les calculs s'arrangent mieux si on remplace
par
au dénominateur. Pour
on a
Comme
,
et la convergence de la série
est équivalente à la convergence de la série
Or
par hypothèse.
Du lemme 1 et de la Proposition 3, on déduit que, presque sûrement,
puis, grâce au lemme de Kronecker, on déduit que, presque sûrement,
ce qui est équivalent à la loi forte des grands nombres (pour des variables centrées), comme on l'a vu aux étapes « troncature » et « recentrage ».
Si on ne suppose plus les
centrées, mais seulement indépendantes, identiquement distribuées et intégrables, on pose
et, les
étant centrées, indépendantes, identiquement distribuées et intégrables, la conclusion des étapes précédentes est que
Mais
Donc
C.Q.F.D.
Supposons que l'ensemble Ωc défini par
est de probabilité 1. Notons
la limite de la suite ci-dessus, lorsqu'elle est définie, i.e. lorsqu'ω appartient à Ωc. L'ensemble Ωc est inclus dans l'ensemble suivant
puisque, lorsque ω appartient à Ωc, on a
Ainsi, l'ensemble Ω0 lui aussi est de probabilité 1. Posons
.
La limite supérieure des An est disjointe de l'ensemble Ω0 , donc elle est de probabilité nulle. En vertu de la loi du zéro-un de Borel, on en déduit, puisque les événements An sont indépendants, que
Par ailleurs, en toute généralité, comme on l'a vu lors de la première étape,