Distance statistique

En mathématiques, et plus précisément en théorie des probabilités et en statistique, la notion de distance statistique sert à mesurer l'écart entre deux lois de probabilité. Les distances statistiques sont notamment utilisées en théorie de l'information, en statistique, en apprentissage automatique, et en cryptologie.

Représentation de la distance en variation totale (en gris) entre deux fonctions de densité

Lorsqu'aucune précision n'est donnée, la « distance statistique » entre deux lois fait généralement référence à la distance en variation totale.

Il existe cependant d'autres notions de distance statistique, plus spécialisées, qui ne sont pas nécessairement équivalentes à la distance en variation totale. Comme il ne s'agit bien souvent pas de distances, au sens des espaces métriques, le terme de divergence est parfois utilisé.

Familles de divergences

Soit P et Q des lois de probabilité, définies sur un espace $\Omega$, avec P absolument continue par rapport à Q. Pour toute fonction convexe f telle que f(1) = 0, on définit la « f-divergence » de P par rapport à Q par :$$D_{f}(P\parallel Q)=\int _{\Omega }f\left({\frac {\mathrm {d} P}{\mathrm {d} Q}}\right)\,\mathrm {d} Q.$$Les choix possibles de la fonction f permettent d'obtenir plusieurs constructions classiques :

• la distance en variation totale correspond au choix $f(t)=|t-1|/2$.
• la divergence de Kullback-Leibler correspond au choix $f(t)=t\log t$.
• la distance de Hellinger correspond au choix $f(t)=2(1-{\sqrt {t}})$.

Une autre construction est la « α-divergence » qui est plus adaptée aux lois discrètes, et est définie pour tout $\alpha \in \mathbb {R} ^{+}\cup \{\infty \}$ par $$D_{\alpha }(P\|Q)=\lim _{x\to \alpha }{\frac {1}{x-1}}\log {\Bigg (}\sum _{i=1}^{n}{\frac {p_{i}^{x}}{q_{i}^{x-1}}}{\Bigg )}\,$$

Ici encore des choix particuliers de $\alpha$ permettent d'obtenir des mesures de distance classiques :

• la distance de Bhattacharyya correspond (à un facteur multiplicatif près) au choix $\alpha =1/2$.
• la divergence de Kullback-Leibler correspond au choix $\alpha =1$.

Il existe encore d'autres familles, notamment les β- et γ-divergences et les divergences de Bregman, qui recoupent en partie les deux familles discutées ci-dessus.

Autres constructions

D'autres distances statistiques n'appartiennent pas aux familles discutées ci-dessus, notamment :

• la distance de Kolmogorov-Smirnov ;
• la distance de Wasserstein ;
• la distance de Lévy-Prokhorov ;
• la distance de Mahalanobis ;
• la distance de Łukaszyk-Karmowski;
• la distance d'Itakura-Saito.

Notes et références