Nat (information)

Un nat (parfois aussi appelé nit ou nepit) est une unité logarithmique de mesure de l'information ou de l'entropie, basée sur le logarithme néperien et les puissances de e plutôt que sur le logarithme en base 2 qui définit le bit. Le nat est l'unité naturelle pour l'entropie en théorie de l'information. Les systèmes d'unités naturelles qui normalisent la constante de Boltzmann à 1 mesurent effectivement une entropie en nats. Quand l'entropie de Shannon est donnée avec le logarithme naturel noté $\ln$ :

Unités de mesure de l'information.

$H=-\sum _{i}p_{i}\ln p_{i}\!\,$

où $p_{i}$est la probabilité que le $i$-ème symbole apparaisse, alors sa valeur est implicitement en nats. Un nat vaut environ 1,44 bits (exactement ${\tfrac {1}{\ln 2}}$), ou 0,434 bans (exactement${\tfrac {1}{\ln 10}}$).

Historique

Alan Turing a utilisé le ban (aussi appelé en anglais hartley ou dit). Boulton et Wallace (1970) employèrent le terme de nit pour la longueur minimale d'un message, qui a été par la suite remplacé par nat pour éviter toute confusion avec le nit comme unité de luminosité.

Références

• (en) J. W. Comley, D. L. Dowe, P. Grünwald (éditeur), I. J. Myung (éditeur) et M. A. Pitt (éditeur), Advances in Minimum Description Length : Theory and Applications, Cambridge, MIT Press, 2005 (ISBN 0-262-07262-9, lire en ligne), « Minimum Message Length, MDL and Generalised Bayesian Networks with Asymmetric Languages »

• (en) Fazlollah M. Reza, An Introduction to Information Theory, New York, Dover, 1994, 496 p. (ISBN 978-0-486-68210-5, LCCN 94027222, lire en ligne)