Complétude (statistiques)

En statistique, la complétude est une propriété d'une statistique calculée sur un échantillon de données par rapport à un modèle paramétrique de l'ensemble de données. Elle s’oppose au concept de statistique auxiliaire . Alors qu'une statistique auxiliaire ne contient aucune information sur les paramètres du modèle, une statistique complète contient uniquement des informations sur les paramètres et aucune information auxiliaire. Elle est étroitement liée au concept de statistique suffisante qui contient toutes les informations que l'ensemble de données fournit sur les paramètres.

Définition

On considère une variable aléatoire X dont la loi de probabilité appartient à un modèle paramétrique P_θ paramétré par θ.

Soit T une statistique, c'est-à-dire la composition d'une fonction mesurable avec un échantillon aléatoire X₁ ,... , X_n.

La statistique T est dite complète pour la distribution de X si, pour toute fonction mesurable g

${\text{Si }}\mathbb {E} _{\theta }(g(T))=0{\text{ pour tout }}\theta {\text{ alors }}\mathbb {P} _{\theta }(g(T)=0)=1{\text{ pour tout }}\theta .$

La statistique T est dite bornée complète pour la loi de X si cette implication est vraie pour toute fonction mesurable g qui est également bornée.

Exemples

Modèle de Bernoulli

Le modèle de Bernoulli admet une statistique complète. Soit X un échantillon aléatoire de taille n tel que chaque X _i suit la même loi de Bernoulli de paramètre p . Soit T le nombre de 1 observés dans l'échantillon, ce qui revient à ${\textstyle T=\sum _{i=1}^{n}X_{i}}$ . T est une statistique de X qui suit une loi binomiale avec les paramètres (n, p). Si l'espace des paramètres pour p est ]0;1[, alors T est une statistique complète. Pour voir cela, on peut remarquer que

$\mathbb {E} _{p}(g(T))=\sum _{t=0}^{n}{g(t){n \choose t}p^{t}(1-p)^{n-t}}=(1-p)^{n}\sum _{t=0}^{n}{g(t){n \choose t}\left({\frac {p}{1-p}}\right)^{t}}.$

Il apparait également que ni p ni 1 − p sont nuls. Ainsi $\mathbb {E} _{p}(g(T))=0$ si et seulement si :

$\sum _{t=0}^{n}g(t){n \choose t}\left({\frac {p}{1-p}}\right)^{t}=0.$

En notant p /(1 − p ) par r, on obtient :

$\sum _{t=0}^{n}g(t){n \choose t}r^{t}=0.$

Tout d’abord, on peut voir que le domaine de définition de r est l'ensemble des réels positifs . De plus, E(g(T)) est un polynôme en r et, par conséquent, ne peut être identique à 0 que si tous les coefficients sont 0, c'est-à-dire g(t) = 0 pour tout t .

Il est important de noter que le résultat selon lequel tous les coefficients doivent être nuls a été obtenu en raison de la définition de r. Si l'espace des paramètres avait été fini et avec un nombre d'éléments inférieur ou égal à n, il aurait été possible de résoudre les équations linéaires dans g(t) obtenues en substituant les valeurs de r et d'obtenir des solutions non nulles. Par exemple, si n = 1 et que l’espace des paramètres est {0,5}, une seule observation et une seule valeur de paramètre, T n’est pas complet. En effet, avec la définition :

$g(t)=2(t-0,5),\,$

alors, E(g(T)) = 0 bien que g(t) ne soit pas nul pour t = 0 ni pour t = 1.

Modèle gaussien à variance fixe

Cet exemple montre que, dans un échantillon X₁ , X₂ de taille 2 à partir d'une distribution normale avec une variance connue, la statistique X₁ + X₂ est complète et suffisante. Supposons que X₁, X₂ soient des variables aléatoires indépendantes, identiquement distribuées, suivant une loi normale avec d'espérance θ et une variance à 1. La somme

$s((X_{1},X_{2}))=X_{1}+X_{2}$

est une statistique complète pour θ .

Pour le montrer, il suffit de démontrer qu'il n'existe pas de fonction non nulle $g$ de telle sorte que l'espérance de

$g(s(X_{1},X_{2}))=g(X_{1}+X_{2})$

reste nul quelle que soit la valeur de θ .

Ce fait peut être perçu comme suit. La loi de probabilité de X ₁ + X ₂ est une loi normale d'espérance 2 θ et de variance 2. Sa fonction de densité de probabilité dans $x$ est donc proportionnel à

$\exp \left(-(x-2\theta )^{2}/4\right).$

L'espérance de g ci-dessus serait donc une constante multipliée par

$\int _{-\infty }^{\infty }g(x)\exp \left(-(x-2\theta )^{2}/4\right)\,\mathrm {d} x.$

Après changements de variables, on peut réécrire cette quantité en

$k(\theta )\int _{-\infty }^{\infty }h(x)\mathrm {e} ^{x\theta }\,\mathrm {d} x,$

où k ( θ ) est une fonction qui ne s'annule jamais et

$h(x)=g(x)\mathrm {e} ^{-x^{2}/4}.$

Comme fonction de θ, il s'agit d'une transformée de Laplace bilatérale de h et elle ne peut pas être identiquement nulle à moins que h ne soit nul presque partout. L'exponentielle n'est pas nulle, donc cela ne peut se produire que si g est nul presque partout.

En revanche, la statistique ${\textstyle (X_{1},X_{2})}$ est suffisante mais pas complète. Elle admet un estimateur non nul et sans biais de zéro, à savoir ${\textstyle X_{1}-X_{2}}$ .

La suffisance n’implique pas la complétude

La plupart des modèles paramétriques disposent d’une statistique suffisante qui n’est pas complète. Ceci est important car le théorème de Lehmann-Scheffé ne peut pas être appliqué à de tels modèles. Galili et Meilijson 2016 proposent l’exemple didactique suivant.

On considère $n$ échantillons indépendants de la loi uniforme :

$X_{i}\sim {\mathcal {U}}\left((1-k)\theta ,(1+k)\theta \right)\qquad \qquad 0<k<1$

avec $k$ est un paramètre de conception connu. Ce modèle est une famille d'échelle (un cas particulier d'un modèle de famille d'échelle de localisation) : mettre à l'échelle les échantillons par un multiplicateur $c$ multiplie le paramètre $\theta$ .

Galili et Meilijson montrent que le minimum et le maximum des échantillons constituent ensemble une statistique suffisante : $X_{(1)},X_{(n)}$ (en utilisant la notation habituelle pour les statistiques d'ordre). En effet, conditionnée à ces deux valeurs, la distribution du reste de l'échantillon est simplement uniforme sur l'intervalle qu'elles définissent : $\left[X_{(1)},X_{(n)}\right]$ .

Cependant, leur rapport suit une loi qui ne dépend pas de $\theta$ . Cela découle du fait qu’il s’agit d’une famille d’échelles : tout changement d’échelle impacte les deux variables de manière identique. En soustrayant la moyenne $m$ à partir de cette distribution, on obtient :

$\mathbb {E} \left[{\frac {X_{(n)}}{X_{(1)}}}\right]-m=0$

On a ainsi montré qu'il existe une fonction $g\left(X_{(1)},X_{(n)}\right)$ ce qui n'est pas nulle partout mais qui est de moyenne nulle . La paire n’est donc pas complète.

Importance de la complétude

La notion de complétude a de nombreuses applications en statistique, notamment dans les théorèmes suivants de la statistique mathématique.

Théorème de Lehmann-Scheffé

L'exhaustivité se produit dans le théorème de Lehmann-Scheffé, qui établit que si une statistique est non biaisée, complète et suffisante pour un certain paramètre θ, alors c'est le meilleur estimateur sans biais pour la moyenne pour θ . En d'autres termes, cette statistique a une perte attendue plus faible pour toute fonction de perte convexe ; dans de nombreuses applications pratiques avec la fonction de perte au carré, elle a une erreur quadratique moyenne plus faible parmi tous les estimateurs ayant la même espérance .

Il existe des exemples où, lorsque la statistique minimale suffisante n'est pas complète, plusieurs statistiques alternatives existent pour une estimation non biaisée de θ, tandis que certaines d'entre elles ont une variance plus faible que d'autres.

Voir également estimateur sans biais à variance minimale .

Théorème de Basu

La complétude bornée se produit dans le théorème de Basu, qui stipule qu'une statistique qui est à la fois bornée et suffisante est indépendante de toute statistique auxiliaire .

Théorème de Bahadur

La complétude limitée se produit également dans le théorème de Bahadur. Dans le cas où il existe au moins une statistique minimale suffisante, une statistique qui est suffisante et complète bornée est nécessairement minimale suffisante.

Notes et références

• (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Completeness (statistics) » (voir la liste des auteurs).