M-estimateur

Cet article est une ébauche concernant les mathématiques et les probabilités et la statistique.

En statistique, les M-estimateurs constituent une large classe de statistiques obtenues par la minimisation d'une fonction dépendant des données et des paramètres du modèle. Le processus du calcul d'un M-estimateur est appelé M-estimation. De nombreuses méthodes d'estimation statistiques peuvent être considérées comme des M-estimateurs. Dépendant de la fonction à minimiser lors de la M-estimation, les M-estimateurs peuvent permettre d'obtenir des estimateurs plus robustes que les méthodes plus classiques, comme la méthode des moindres carrés.

M-estimateur

Définition

Les M-estimateurs ont été introduits en 1964 par Peter Huber sous la forme d'une généralisation de l'estimation par maximum de vraisemblance à la minimisation d'une fonction $ρ$ sur l'ensemble des données. Ainsi, le (ou les) M-estimateur associé aux données et à la fonction $ρ$ est estimé par

\hat{θ} = {argmin}_{θ} (\sum_{i = 1}^{n} ρ (x_{i}, θ))

Le M de M-estimateur provient donc du maximum de vraisemblance (maximum likelihood-type en anglais) et les estimateurs par maximum de vraisemblance sont un cas particulier des M-estimateurs.

Types

La résolution du problème de minimisation passe couramment par une différentiation de la fonction cible. En effet, pour chercher $\hat{θ}$ , une méthode simple consiste à chercher les valeurs telles que

\frac{\partial}{\partial θ} (\sum_{i = 1}^{n} ρ (x_{i}, θ)) = 0.

Dans le cas où cette différentiation est possible, le M-estimateur est dit de type $ψ$ ; sinon, il est dit de type $ρ$ .

Type $ρ$

Pour un entier positif r, soit $(𝒳, Σ)$ et $(Θ \subset ℝ^{r}, S)$ des espaces mesurables, et $θ \in Θ$ est un vecteur de paramètres. Un M-estimateur de type $ρ$ $T$ est défini par une fonction mesurable $ρ : 𝒳 \times Θ \to ℝ$ . Il envoie la fonction de répartition d'une loi de probabilités $F$ sur $𝒳$ vers la valeur $T (F) \in Θ$ (si elle existe) qui minimise $\int_{𝒳} ρ (x, θ) d F (x)$ , soit :

T (F) := \arg min_{θ \in Θ} \int_{𝒳} ρ (x, θ) d F (x)

Par exemple, la fonction qui correspond à l'estimateur du maximum de vraisemblance et $ρ (x, θ) = - \log (f (x, θ))$ , avec $f (x, θ) = \frac{\partial F (x, θ)}{\partial x}$ .

Type $ψ$

Si $ρ$ est dérivable par rapport à $θ$ , le calcul de $\hat{θ}$ est souvent plus simple. Un M-estimateur de type $ψ$ T est défini pour une fonction mesurable $ψ : 𝒳 \times Θ \to ℝ^{r}$ . Il envoie la fonction de répartition d'une loi de probabilités F sur $𝒳$ vers la valeur $T (F) \in Θ$ (si elle existe) qui vérifie l'équation vectorielle:

\int_{𝒳} ψ (x, θ) d F (x) = 0

\int_{𝒳} ψ (x, T (F)) d F (x) = 0

Par exemple, pour l'estimateur du maximum de vraisemblance, on a $ψ (x, θ) = {(\frac{\partial \log (f (x, θ))}{\partial θ^{1}}, \dots, \frac{\partial \log (f (x, θ))}{\partial θ^{p}})}^{T}$ , avec $u^{T}$ désignant le vecteur transposé de u et $f (x, θ) = \frac{\partial F (x, θ)}{\partial x}$ .

Un tel estimateur n'est pas nécessairement un M-estimateur de type $ρ$ , mais si $ρ$ est dérivable et de dérivée continue par rapport à $θ$ , alors une condition nécessaire pour qu'un M-estimateur de type $ψ$ soit un M-estimateur de type $ρ$ est $ψ (x, θ) = \nabla_{θ} ρ (x, θ)$ . De telles définitions peuvent être adaptés aux échantillons finis.

Si la fonction $ψ$ décroit vers zéro quand $x \to \pm \infty$ , l'estimateur est dit décroissant. De tels estimateurs ont d'autres propriétés utiles, comme le rejet des valeurs aberrantes évidentes.

Exemples de M-estimateurs

Parmi les exemples connus de M-estimateurs, on peut citer :

$ρ (x) = x^{2}$ , ce qui revient à appliquer la méthode des moindres carrés
$ρ (x) = | x |$
$ρ_{k} (x) = \int_{0}^{| x |} min (k, u) d u = {\begin{matrix} \frac{x^{2}}{2} & si | x | < k \\ k (| x | - \frac{k}{2}) & si | x | ⩾ k \end{matrix}$ (fonction de Huber (en))
$ρ_{c} (x) = \frac{c^{2}}{2} \ln (1 + {(\frac{x}{c})}^{2})$ (fonction de Lorentz)
$ρ_{c} (x) = \frac{x^{2}}{2} (1 - \frac{x^{2}}{2 c^{2}} + \frac{x^{4}}{6 c^{4}})$ (bipoids de Tukey)

Articles connexes

Méthode des moindres carrés

Références

Peter J. Huber, Robust Statistics, Wiley, 1981, 2004

Portail des probabilités et de la statistique

M-estimateur

Définition

Types

Type ρ

Type ψ

Exemples de M-estimateurs

Articles connexes

Références

Type $ρ$

Type $ψ$