Divergence (statistiques)

En statistiques, une divergence est une fonction ou une fonctionnelle qui mesure la dissimilarité d'une loi de probabilité par rapport à une autre. Selon le contexte, elles peuvent être définies pour des lois, des mesures positives (non-normalisées), des vecteurs (par exemple sur l'espace des paramètres si l'on considère un modèle paramétrique), ou encore des matrices.

Les divergences sont analogues à des distances au carré et permettent de généraliser la notion de distance aux variétés statistiques, mais il s'agit d'une notion plus faible dans la mesure où elles ne sont en général pas symétriques et ne vérifient pas l'inégalité triangulaire.

Définition

Définition générale

Dans le cas le plus général, en statistiques et en théorie de l'information, une divergence est une fonction $D:{\mathcal {P}}\times {\mathcal {P}}\rightarrow \mathbb {R} _{+}$ définie sur un ensemble de distributions de probabilités ${\mathcal {P}}$, satisfaisant les propriétés suivantes :

• positivité: $D(P,Q)\geq 0\,\forall \,P,Q\in {\mathcal {P}}$ ;
• séparation: $D(P,Q)=0$ si et seulement si $P=Q$.

Il n'existe toutefois pas de définition unifiée, et la propriété de séparation n'est parfois pas requise.

En géométrie de l'information

En géométrie de l'information, des hypothèses de régularité additionnelles sont nécessaires, car la divergence ne sert pas simplement à comparer des distributions de probabilités, mais induit une structure géométrique.

Soit $M$ une variété topologique et $V\subseteq \mathbb {R} ^{n}$ une carte locale. Une divergence est une fonction $D:V\times V\rightarrow \mathbb {R} _{+}$ (également définie sur $M$ au moyen de l'homéomorphisme associé), différentiable jusqu'à l'ordre 3 et satisfaisant les propriétés suivantes :

• $D(\xi _{p},\xi _{q})\geq 0\,\forall \,\xi _{p},\xi _{q}\in V$ ;
• $D(\xi _{p},\xi _{q})=0\,ssi\,\xi _{p}=\xi _{q}$ ;
• Le développement limité de $D$ en $\xi _{p}$ s'écrit :

$D(\xi _{p},\xi _{p}+d\xi )={\frac {1}{2}}\sum g_{ij}(\xi _{p})d\xi _{i}d\xi _{j}+O(|d\xi |^{3})$

où $G(\xi _{p})=(g_{ij}(\xi _{p}))_{(1\leq i,j\leq n)}$ est définie positive.

Divergence symétrique

Pour une divergence $D$ donnée, il est parfois intéressant d'introduire la divergence symétrique $D_{S}$ associée : $D_{s}(p,q)=(D(p,q)+D(q,p))/2$.

Notation

Les notations $D(\cdot ||\cdot )$ ou ${\displaystyle D[\cdot$ :\cdot ]} peuvent également être employées.

Exemples

Il existe une grande variété de divergences, dont entre autres :

• la divergence euclidéenne, définie comme la moitié de la racine de la distance euclidéenne ;
• les f-divergences, qui s'expriment de la forme $D_{f}(P,Q)=\int f({\frac {dP}{dQ}})dP$ pour une fonction $f$ convexe différentiable et telle que $f(1)=0$ lorsque $P\ll Q$ (la définition pouvant sinon être généralisée), et incluent :
  • les $\alpha$-divergences :
    • la divergence de Kullback-Leibler pour $f(x)=x\log(x)$ ($\alpha$-divergence pour $\alpha =1$)  ;
    • la distance de Hellinger ($\alpha$ divergence pour $\alpha =0$) ;
    • la divergence χ² de Pearson pour $f(x)=(x-1)^{2}$: $D(\mu ,\mu ')=\sum _{x{\text{ dans le support de }}\mu }{\frac {(\mu '(x)-\mu (x))^{2}}{\mu (x)}}$ ;
  • la distance en variation totale pour $f(x)={\frac {1}{2}}|x-1|$  ;
  • la divergence de Jensen-Shannon ;
• les divergences de Bregman :
  • la divergence de Kullback-Leibler, qui est la seule à être à la fois une f-divergence et une divergence de Bregman ;
  • les $\beta$-divergences ;
  • les $\gamma$-divergences ;
  • la divergence d'Itakura-Saito ;
• les $\alpha$-divergences de Rényi.

Annexes

Bibliographie

• (en) Shun-ichi Amari (trad. du japonais), Information Geometry and Its Applications, Springer, coll. « Applied Mathematical Science », 2016, 364 p. (ISBN 978-4-431-55977-1 et 978-4-431-55978-8, ISSN 0066-5452 et 2196-968X)
• (en) Michèle Basseville, « Divergence measures for statistical data processing — An annotated bibliography », Signal Processing, Elsevier, vol. 93, n^o 4,‎ 2013, p. 621-633