Région de confiance

En statistique, une région de confiance est une généralisation multivariée d'un intervalle de confiance. Pour le cas particulier d'une loi normale bivariée, la région prend la forme d'une ellipse, également connue sous le nom d'ellipse d'erreur. Plus généralement, il s'agit d'un ensemble de points dans un espace à n dimensions, souvent représenté par un hyperellipsoïde autour d'une estimation ponctuelle qui est une solution à un problème, bien que d'autres formes puissent apparaître selon la loi de probabilités.

Interprétation

La région de confiance est calculée de telle sorte que si un ensemble de mesures était répété plusieurs fois et qu'une région de confiance était calculée de la même manière sur chaque ensemble de mesures, alors dans un certain pourcentage de cas (par exemple 95 %), la région de confiance contiendrait le point représentant les « vraies » valeurs de l'ensemble des variables estimées. Toutefois, à moins que certaines hypothèses concernant les probabilités a priori ne soient formulées, le calcul d'une région de confiance ne signifie pas qu'il existe une probabilité de 95 % que les valeurs « réelles » se situent à l'intérieur de cette région, car on ne fait aucune hypothèse sur la loi de probabilité particulière des valeurs « réelles » et on peut ou non disposer d'autres informations sur leur position probable.

Cas des erreurs indépendantes et identiquement distribuées selon une loi normale

On suppose qu'on a obtenu une solution ${\boldsymbol {\beta }}$ au problème surdéterminé suivant :

\mathbf {Y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}

où $Y$ est un vecteur colonne de dimension $n$ contenant les valeurs observées de la variable dépendante, $X$ est une matrice $n \times p$ des valeurs observées des variables indépendantes (qui peuvent représenter par exemple un modèle physique) que l'on suppose connues avec exactitude, ${\boldsymbol {\beta }}$ est un vecteur colonne contenant les $p$ paramètres à estimer, et ${\boldsymbol {\varepsilon }}$ est un vecteur colonne de dimension $n$ d'erreurs supposées indépendantes et distribuées selon une loi normale centrée de même variance inconnue $σ 2$ .

Une région de confiance à 100(1 − α) % pour les éléments de ${\boldsymbol {\beta }}$ est représenté par l'ensemble des valeurs du vecteur $b$ qui vérifient l'inégalité suivante^[1]:

({\boldsymbol {\hat {\beta }}}-\mathbf {b} )^{\operatorname {T} }\mathbf {C} _{\mathbf {\beta } }^{-1}({\boldsymbol {\hat {\beta }}}-\mathbf {b} )\leq pF_{1-\alpha }(p,\nu ),

où la variable $b$ représente tout point dans la région de confiance, $p$ est le nombre de paramètres, i.e. le nombre d'éléments du vecteur ${\boldsymbol {\beta }},$ ${\boldsymbol {\hat {\beta }}}$ est le vecteur des paramètres estimés, et $s 2$ un estimateur sans biais de la variance $σ 2$ , par un chi-2 réduit, égal à

s^{2}={\frac {\varepsilon ^{\operatorname {T} }\varepsilon }{n-p}}.

Plus précisément, F est la fonction quantile de la loi de Fisher, avec $p$ et $\nu =n-p$ degrés de liberté, $\alpha$ est le niveau de signification statistique, et la notation $X^{\operatorname {T} }$ désigne la transposée de $X$ .

L'expression peut être réécrite comme suit :

({\boldsymbol {\hat {\beta }}}-\mathbf {b} )^{\operatorname {T} }\mathbf {C} _{\mathbf {\beta } }^{-1}({\boldsymbol {\hat {\beta }}}-\mathbf {b} )\leq pF_{1-\alpha }(p,\nu ),

où $\mathbf {C} _{\mathbf {\beta } }=s^{2}\left(\mathbf {X} ^{\operatorname {T} }\mathbf {X} \right)^{-1}$ est la matrice de covariance normalisée par la méthode des moindres carrés de ${\boldsymbol {\hat {\beta }}}$ .

L'inégalité ci-dessus définit une région ellipsoïdale dans l'espace des paramètres cartésiens de R^p. L'ellipsoïde est centrée sur l'estimation ${\boldsymbol {\hat {\beta }}}$ . Selon Press et al., il est plus facile de tracer l'ellipsoïde après avoir effectué une décomposition en valeurs singulières. Les longueurs des axes de l'ellipsoïde sont proportionnelles aux inverses des valeurs sur les diagonales de la matrice diagonale, et les directions de ces axes sont données par les lignes de la 3^e matrice de la décomposition^[2].

Moindres carrés pondérés et généralisés

On considère maintenant le cas plus général où certains éléments distincts de ${\boldsymbol {\varepsilon }}$ ont une covariance non nulle connue (en d'autres termes, les erreurs dans les observations ne sont pas distribuées indépendamment), et/ou les écarts-types des erreurs ne sont pas tous égaux. On considère donc que la matrice de covariance de ${\boldsymbol {\varepsilon }}$ est de la forme $\mathbf {V} \sigma ^{2}$ , où $V$ est une matrice non singulière $n \times n$ qui était égale à $I$ dans le cas plus spécifique traité dans la section précédente, (avec $I$ est la matrice identité ), mais ici il est autorisé d'avoir des éléments non-diagonaux non nuls représentant la covariance des paires d'observations individuelles, ainsi que de ne pas nécessairement avoir tous les éléments diagonaux égaux.

Il est possible de trouver^[3] une matrice symétrique non singulière $P$ telle que

\mathbf {P} ^{\prime }\mathbf {P} =\mathbf {P} \mathbf {P} =\mathbf {V}

En effet, $P$ est une racine carrée de la matrice de covariance $V$ .

Le problème des moindres carrés

\mathbf {Y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}

peut alors être transformée en multipliant à gauche chaque terme par l'inverse de $P$ , formant ainsi la nouvelle formulation du problème

\mathbf {Z} =\mathbf {Q} {\boldsymbol {\beta }}+\mathbf {f} ,

où

\mathbf {Z} =\mathbf {P} ^{-1}\mathbf {Y}

\mathbf {Q} =\mathbf {P} ^{-1}\mathbf {X}

et

\mathbf {f} =\mathbf {P} ^{-1}{\boldsymbol {\varepsilon }}

Une région de confiance conjointe pour les paramètres, c'est-à-dire pour les éléments de ${\boldsymbol {\beta }}$ , est alors délimitée par l'ellipsoïde définie par^[4]:

(\mathbf {b} -{\boldsymbol {\hat {\beta }}})^{T}\mathbf {Q} ^{T}\mathbf {Q} (\mathbf {b} -{\boldsymbol {\hat {\beta }}})={\frac {p}{n-p}}(\mathbf {Z} ^{T}\mathbf {Z} -\mathbf {b} ^{T}\mathbf {Q} ^{T}\mathbf {Z} )F_{1-\alpha }(p,n-p).

Ici, $F$ représente le quantile de la loi de Fisher où les quantités $p$ et $n - p$ sont les degrés de liberté qui sont les paramètres de cette loi.

Exemples

Régions de confiance pour l'estimation de la moyenne d'une loi multinormale 2D.
Régions de confiance pour l'estimation de la moyenne d'une loi multinormale 3D.

Problèmes non linéaires

Des régions de confiance peuvent être définies pour toute loi de probabilité. L'expérimentateur peut choisir le niveau de signification et la forme de la région, alors la taille de la région est déterminée par la loi de probabilité. Un choix naturel consiste à utiliser comme frontière un ensemble de points à $\chi ^{2}$ constant.

Une approche consiste à utiliser une approximation linéaire du modèle non linéaire, qui peut constituer une bonne approximation au voisinage de la solution, puis à appliquer l'analyse d'un problème linéaire pour trouver une région de confiance approximative. Cette méthode peut s'avérer raisonnable si la région de confiance n'est pas très étendue et si les dérivées secondes du modèle ne sont pas non plus très importantes.

Des approches de bootstrap peuvent également être utilisées.

Notes

(en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Confidence region » (voir la liste des auteurs).

↑ Draper and Smith (1981, p. 94)
↑ (en) William Press, Numerical Press, chap. 15.6 (« Confidence Limits on Estimated Model Parameters »)
↑ Draper and Smith (1981, p. 108)
↑ Draper and Smith (1981, p. 109)

Références

(en) N.R. Draper et H. Smith, Applied Regression Analysis, USA, John Wiley and Sons Ltd, 1981 (1^re éd. 1966) (ISBN 0-471-02995-5, lire en ligne )
(en) W.H. Press, S.A. Teukolsky, W.T. Vetterling et B.P. Flannery, Numerical Recipes in C: The Art of Scientific Computing, Cambridge UK, Cambridge University Press, 1992 (1^re éd. 1988) (ISBN 978-0-521-43720-2, lire en ligne )

Voir aussi

Portail des probabilités et de la statistique

[1] Draper and Smith (1981, p. 94)

[2] (en) William Press, Numerical Press, chap. 15.6 (« Confidence Limits on Estimated Model Parameters »)

[3] Draper and Smith (1981, p. 108)

[4] Draper and Smith (1981, p. 109)

[1]

[2]

[3]

[4]