Identités de Bartlett

égalités en statistique théorique

Les identités de Bartlett sont en statistique des relations concernant les moments des dérivées de la log-vraisemblance d'un modèle. Elles sont nommées en l'honneur du statisticien anglais Maurice Bartlett.

Idée générale

modifier

Considérons un modèle statistique générant des données réelles suivant une distribution de probabilité dépendant d'un paramètre θ sur lequel on souhaite faire de l'inférence. Notons Θ l'espace des paramètres et {fθ∣θ∈Θ} la famille des densités de probabilités associée au modèle. Puisque fθ est une densité de probabilité, son intégrale sur ℝ doit être égale à 1: ∫ℝfθ(x)dx=1.

Différencier cette égalité par rapport à θ permet d'obtenir de nouvelles relations. Le terme de droite étant égal à 1, ses différentielles sont toutes nulles. Le terme de gauche est une intégrale paramétrique et il est souvent possible (sous certaines hypothèses qui doivent être soigneusement vérifiées) d'intervertir intégral et dérivée, de sorte que ∂k∂θk∫ℝfθ(x)dx=∫ℝ∂k∂θkfθ(x)dx. On obtient alors que pour tout k∈ℕ∗, ∫ℝ∂k∂θkfθ(x)dx=0.

Ces relations donnent les identités de Bartlett lorsqu'on développe la dérivée k-ième. Elles sont généralement exprimées en utilisant la log-vraisemblance log⁡(fθ) et ses dérivées[1].

Première identité de Bartlett

modifier

Reprenons les notations précédentes et supposons qu'il est possible d'intervertir dérivée et intégrale pour différencier l'égalité ∫fθ(x)dx=1. Pour raccourcir les notations, notons lθ(x)=log⁡(fθ(x)) la log-vraisemblance du modèle.

On obtient alors que∫∂∂θfθ(x)dx=0. En remarquant que 1fθ(x)∂fθ∂θ=∂lθ∂θ(x), cette égalité peut se réécrire ∫∂lθ∂θ(x)fθ(x)dx=0.

Comme cette dernière intégrale correspond à l'espérance de ∂lθ∂θ(X) lorsque X est distribuées selon fθ, la première identité de Bartlett s'écrit

𝔼[∂lθ∂θ(X)]=0

où l'espérance est prise sur une variable aléatoire dont la loi a pour densité fθ.

La fonction ∂lθ∂θ(x), souvent appelée fonction score, joue un rôle crucial dans l'estimation et les tests statistiques. La première identité de Bartlett indique que le score est d'espérance nulle. Cela garantie entre autres que l'estimateur du maximum de vraisemblance associé est convergent au sens de Fisher.

Seconde identité de Bartlett

modifier

Reprenons la première identité de Bartlett sous sa forme intégrale : ∫∂lθ∂θ(x)fθ(x)dx=0 et différencions la par rapport à θ en supposant, encore une fois, qu'il est possible d'intervertir dérivée et intégrale. Supposons que θ est réel, on obtient alors

∫(∂2lθ∂θ2(x)fθ(x)+∂lθ∂θ(x)∂∂θfθ(x))dx=0.

Séparons l'intégrale en deux et en réutilisons le fait que 1fθ(x)∂fθ∂θ=∂lθ∂θ(x) pour arriver à l'égalité suivante:

∫∂2lθ∂θ2(x)fθ(x)dx=−∫(∂lθ∂θ(x))2fθ(x)dx.

Les deux termes de cette égalités correspondent à des espérances. Le terme de gauche est l'espérance de ∂2lθ∂θ2(X) lorsque X a pour densité fθ, et le terme de droite est l'espérance de (∂lθ∂θ(X))2. Cette espérance correspond à la variance du score ∂lθ∂θ(X) puisque, d'après la première identité de Bartlett, ce dernier est d'espérance nulle. La deuxième identité de Bartlett peut donc s'écrire :

var[∂lθ∂θ(X)]=−𝔼[∂lθ2∂θ2(X)]

Où l'espérance et la variance sont prises sur une variable aléatoire X ayant pour densité fθ.

Cette identité reste vraie lorsque θ est un vecteur. La variance est simplement remplacée par la matrice de variance-covariance, et la dérivée partielle seconde par rapport à θ de log(fθ(x)) par sa matrice hessienne.

La quantité var[∂∂θlθ(X)] (ou la matrice dans le cas multivarié), généralement notée I(θ), est l'information de Fisher du modèle et joue un rôle important en statistique. Elle permet, entre autres, de calculer la borne de Cramér-Rao ou la loi a loi a priori de Jeffreys (en) en statistiques Bayésiennes. La seconde identité de Bartlett donne un moyen alternatif de calculer cette information de Fisher en utilisant la dérivée seconde de la log-vraisemblance, ce qui est parfois plus simple que de calculer la variance du score ∂∂θlθ(X).

Identités d'ordre supérieur

modifier

Troisième identité

modifier

En dérivant la seconde identité de Bartlett par rapport à θ, on obtient, après quelques simplifications, la troisième identité de Bartlett:

𝔼[(∂∂θlog⁡(fθ(X)))3]=3∂I∂θ(θ)+2𝔼[∂3∂θ3log⁡(fθ(X))]

où I(θ)=var[∂∂θlog⁡(fθ(X))]=−𝔼[∂2∂θ2log⁡(fθ(X))]est l'information de Fisher.

Quatrième identité

modifier

Une différentiation supplémentaire donne la quatrième identité de Bartlett:

𝔼[(∂lθ∂θ(X))4]−3I(θ)2=6∂2I∂θ2(θ)+8∂∂θ𝔼[∂3lθ∂θ3(X)]−3𝔼[∂4lθ∂θ4(X)]+3var[∂2lθ∂θ2(X)].

Exemple

modifier

Considérons des données issues d'une loi normale d'espérance μ et d'écart-type σ. Notons θ=(μ,σ) le vecteur formé par ces deux paramètres. La log-vraisemblance associée à une observation x générée par ce modèle est donnée par :

l(x;θ)=−log⁡(2π)−log⁡(σ)−12(x−μσ)2.

Commençons par calculer le score, c'est-à-dire la dérivée de la log-vraisemblance :

∂l∂θ(x;θ)=(x−μσ2;−1σ+(x−μ)2σ3)T.

Calculons l’espérance du score :

𝔼[∂l∂θ(X;θ)]=(𝔼[X]−μσ2;−1σ+𝔼[(X−μ)2]σ3)T

En utilisant que 𝔼[X]=μ et 𝔼[(X−μ)2]=σ2, on obtient que E[∂l∂θ(X,θ)]=0. La première identité de Bartlett est bien vérifiée.

Si l'on dérive une seconde fois la log-vraisemblance, on obtient la matrice Hessienne suivante :

∂2l∂θ2(x;θ)=(−1σ2−2x−μσ3−2x−μσ31σ2−3(x−μ)2σ4).

On obtient donc que

−𝔼[∂2l∂θ2(x;θ)]=(1σ2002σ2)

La seconde identité de Bartlett, var[∂l∂θ(X,θ)]=−𝔼[∂2l∂θ2(X,θ)], indique donc que

var[∂l∂θ(X,θ)]=(1σ2002σ2).

Il est possible de calculer directement la variance du score, mais ce calcul peut se révéler plus fastidieux et utilise des résultats non triviaux tels que cov(X−μ;(X−μ)2)=0 ou var((X−μ)2)=2σ4.

Utilisation

modifier

La seconde identité de Bartlett est communément utilisée pour trouver la borne de Cramér-Rao associée à un estimateur ou pour calculer sa variance asymptotique.

Les identités de Bartlett jouent aussi un rôle dans la réduction de biais[2] d'estimateurs paramétriques. Cette réduction de biais se fonde sur un développement limité des équations d'estimation et fait intervenir les espérances des dérivées de la log-vraisemblance.

Notes et références

modifier
  1. ↑ M. S. Bartlett, « Approximate Confidence Intervals », Biometrika, vol. 40, nos 1/2,‎ , p. 12 (ISSN 0006-3444, DOI 10.2307/2333091, lire en ligne, consulté le )
  2. ↑ DAVID FIRTH, « Bias reduction of maximum likelihood estimates », Biometrika, vol. 80, no 1,‎ , p. 27–38 (ISSN 0006-3444 et 1464-3510, DOI 10.1093/biomet/80.1.27, lire en ligne, consulté le )