Inégalité de Fano

L'inégalité de Fano est un résultat de théorie de l'information.

Énoncé

Pour deux variables aléatoires et prenant valeurs possibles, on a :

où est la probabilité d'erreur et est l'entropie de Shannon de la loi de Bernoulli de paramètre .

Démonstration

Considérons où est le symbole de Kronecker. suit une loi de Bernoulli de paramètre . En appliquant deux fois la règle de la chaîne pour l'entropie conditionnelle, on a :

La donnée de permet de calculer donc le terme est nul. On observe ensuite que . Le terme restant est décomposé selon la valeur de  :

• Quand , on majore simplement l'entropie (entropie de la variable aléatoire conditionnellement à ) par , puisqu'il n'y a que valeurs disponibles pour une fois la valeur de exclue ;
• Quand , la donnée de détermine dont l'entropie est nulle.

On a donc :

Interprétation en statistique

L'inégalité de Fano est fréquemment utilisée en statistique bayésienne pour montrer une borne inférieure sur l'erreur de l'estimateur d'un paramètre.

Par exemple, on considère une variable de Bernouilli pour un paramètre , que l'on suppose choisi uniformément parmi ces deux valeurs (c'est la distribution à priori). On veut prouver que l'estimateur dont la probabilité d'erreur est de n'est pas améliorable.

On utilise pour cela l'inégalité de Fano, qui donne le résultat suivant . Or, en explicitant la loi de on obtient. Cela donne l'inégalité , qui est légèrement plus faible que le résultat attendu. Le résultat exact pourrait en fait être obtenu en utilisant une version plus forte de l'inégalité de Fano.