Entropie de Rényi

Cet article est une ébauche concernant les mathématiques.

L'entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d'information contenue dans la probabilité de collision d'une variable aléatoire.

Définition

Étant donnés une variable aléatoire discrète $X$ à $n$ valeurs possibles $(x_{1}, x_{2}, \dots x_{n})$ , ainsi qu'un paramètre réel $α$ strictement positif et différent de 1, l'entropie de Rényi d'ordre $α$ de $X$ est définie par la formule :

H_{α} (X) = \frac{1}{1 - α} \log \sum_{i = 1}^{n} P (X = x_{i})^{α}

Cas particuliers

L'entropie de Rényi généralise d'autres acceptions de la notion d'entropie, qui correspondent chacune à des valeurs particulières de $α$ .

Entropie de Hartley

Le cas $α = 0$ donne :

H_{0} (X) = \log n = \log | X |

ce qui correspond au logarithme du cardinal de $X$ , qui correspond à l'entropie de Hartley.

Entropie de Shannon

D'après la règle de L'Hôpital, on peut trouver une limite à $H_{α} (X)$ quand $α$ tend vers 1 :

lim_{α \to 1} H_{α} (X) = - \sum_{i = 1}^{n} p_{i} \log p_{i}

Cette expression correspond à l'entropie de Shannon.

Entropie de collision

Dans le cas où $α = 2$ , on trouve l'entropie dite de collision, appelée parfois simplement « entropie de Rényi » :

H_{2} (X) = - \log \sum_{i = 1}^{n} p_{i}^{2} = - \log P (X = Y)

où Y est une variable aléatoire indépendante et identiquement distribuée par rapport à X.

Entropie min

En faisant tendre $α$ vers l'infini, on trouve l'entropie min :

H_{\infty} (X) = - \log sup_{i = 1.. n} p_{i}

Propriétés

Décroissance selon α

$H_{α}$ est une fonction décroissante de $α$ .

Preuve

Soit $P = {p_{1}, p_{2}, ..., p_{n}}$ une distribution de probabilité

\begin{matrix} \frac{d H_{α}}{d α} & = \frac{d}{d α} (\frac{1}{1 - α} \log \sum_{i = 1}^{n} P (X = x_{i})^{α}) \\ = \frac{1}{(1 - α)^{2}} \sum_{i = 1}^{n} q_{i} \log (\frac{p_{i}}{q_{i}}) \\ = - \frac{1}{(1 - α)^{2}} D_{K L} (Q | | P) \end{matrix}

avec $Q$ la distribution de probabilité des $q_{i} = \frac{p_{i}^{α}}{\sum_{j = 1}^{n} p_{j}^{α}}$ et $D_{K L}$ la Divergence de Kullback-Leibler de $Q$ par rapport $P$ .

Puisque cette divergence est positive, la dérivée de l'entropie de Rényi en devient négative et donc $H_{α}$ est bien décroissante en $α$ .

Preuve alternative

Soit $P = {p_{1}, p_{2}, ..., p_{n}}$ une distribution de probabilité,

\begin{matrix} H_{α} (X) & = \frac{1}{1 - α} \log \sum_{i = 1}^{n} P_{X} (x_{i})^{α} \\ = - \log 𝔼 [P_{X} (X)^{α - 1}]^{\frac{1}{α - 1}} \\ = - \log 𝔼 [P_{X} (X)^{α - 1}]^{\frac{β - 1}{α - 1} \frac{1}{β - 1}} \\ \geq - \log 𝔼 [P_{X} (X)^{α - 1 \frac{β - 1}{α - 1}}]^{\frac{1}{β - 1}} \\ = - \log 𝔼 [P_{X} (X)^{β - 1}]^{\frac{1}{β - 1}} \\ = \frac{1}{1 - β} \log \sum_{i = 1}^{n} P_{X} (x_{i})^{β} \\ = H_{β} (X) \end{matrix}

L'inégalité provient de l'Inégalité de Jensen appliquée dans les cas suivants à $𝔼 [x^{c}]$ , en notant $c = \frac{β - 1}{α - 1}$ :

Si, $c > 1$ et donc $x^{c}$ est convexe et $\frac{1}{β - 1} > 0$ .
Si, $c < 0$ donc $x^{c}$ est convexe et $\frac{1}{β - 1} > 0$ .
Si, $c > 0$ donc $x^{c}$ est concave $\frac{1}{β - 1} < 0$ .
Si $(α = 1) \lor (β = 1)$ l'application de l'inégalité est immédiate.

Ce qui donne la croissance de $α \to H_{α}$ .

Relations entre les entropies de différents ordres

L'entropie de Rényi est donc une fonction décroissante de son ordre.

De plus, on remarque que $H_{2} \leq 2 H_{\infty}$ puisque $H_{2} = - \log (\sum_{i = 1}^{n} p_{i}^{2}) \leq - \log (sup_{i} (p_{i}^{2})) = - 2 \log (sup_{i} (p_{i})) = 2 H_{\infty}$ .

Divergence de Rényi

Pour deux distributions de probabilités $P = {p_{1}, p_{2}, ..., p_{n}}$ et $Q = {q_{1}, q_{2}, ..., q_{n}}$ , la divergence de Rényi de $P$ selon $Q$ est définie comme :

$D_{α} (P ‖ Q) = \frac{1}{α - 1} \log (\sum_{i = 1}^{n} \frac{p_{i}^{α}}{q_{i}^{α - 1}})$

La limite $D_{1} (P ‖ Q)$ existe et correspond à la Divergence de Kullback-Leibler.

Voir aussi

Articles connexes

Entropie de Shannon

Bibliographie

(en) A. Rényi, « On measures of entropy and information », dans Proc. 4th Berkeley Symposium on Mathematical Statistics and Probability', vol. 1, 1960, p. 547-561.
(en) Christian Cachin, Entropy Measures and Unconditional Security in Cryptography, 1997 (lire en ligne [PDF])

Liens externes

(en) Eric W. Weisstein, « Rényi Entropy », sur MathWorld

Portail des probabilités et de la statistique