Théorème de Shannon-Hartley

En théorie de l'information, le théorème de Shannon-Hartley indique le débit maximal auquel l'information peut être transmise sur un canal de communication d'une bande passante spécifiée en présence de bruit. Il s'agit d'une application du théorème du codage de canal au cas archétypal du canal de communication analogique à temps continu soumis à un bruit gaussien. Le théorème établit la capacité du canal de Shannon pour un tel lien de communication, une limite sur la quantité maximale d'information sans erreur par unité de temps qui peut être transmise avec une bande passante spécifiée en présence de l'interférence du bruit, en supposant que la puissance du signal est limitée, et que le processus de bruit gaussien est caractérisé par une puissance ou une densité spectrale de puissance connue. La loi est nommée d'après Claude Shannon et Ralph Hartley.

Énoncé du théorème

Le théorème de Shannon-Hartley énonce la capacité du canal $C$ , c'est-à-dire la limite supérieure théorique la plus étroite du débit d'information des données qui peuvent être communiquées à un taux d'erreur arbitrairement bas en utilisant une puissance moyenne du signal reçu $S$ par un canal de communication analogique soumis à un bruit additif blanc gaussien (AWGN) de puissance $N$ :

C=B\log _{2}\left(1+{\frac {S}{N}}\right)

où

$C$ est la capacité du canal en bits par seconde, une limite supérieure théorique du débit binaire net (débit d'information, parfois noté $I$ ) hors codes de correction d'erreurs ;
$B$ est la largeur de bande du canal en hertz (largeur passe-bande dans le cas d'un signal passe-bande) ;
$S$ est la puissance moyenne du signal reçu sur la largeur de bande (dans le cas d'une transmission en bande passante à modulation de porteuse, souvent désignée par C (en)), mesurée en watts (ou en volts carré) ;
$N$ est la puissance moyenne du bruit et des interférences sur la bande passante, mesurée en watts (ou en volts carré) ; et
$S/N$ est le rapport signal/bruit (SNR) ou le rapport porteuse/bruit (en) (CNR) du signal de communication par rapport au bruit et à l'interférence au niveau du récepteur (exprimé sous forme de rapport de puissance linéaire, et non de décibels logarithmique).

Développement historique

À la fin des années 1920, Harry Nyquist et Ralph Hartley ont développé une poignée d'idées fondamentales liées à la transmission de l'information, notamment dans le contexte du télégraphe en tant que système de communication. À l'époque, ces concepts constituaient individuellement de puissantes percées, mais ils ne faisaient pas partie d'une théorie globale. Dans les années 1940, Claude Shannon a développé le concept de capacité de canal, basé en partie sur les idées de Nyquist et Hartley, puis a formulé une théorie complète de l'information et de sa transmission.

Débit de Nyquist

Article principal : [[:Débit de Nyquist (en)]].

En 1927, Nyquist a déterminé que le nombre d'impulsions indépendantes pouvant être transmises par un canal télégraphique par unité de temps est limité à deux fois la largeur de bande du canal. En notation symbolique,

$f_{p}\leq 2B$

où $f_{p}$ est la fréquence d'impulsion (en impulsions par seconde) et $B$ est la bande passante (en hertz). La quantité $2B$ a été appelée par la suite le débit de Nyquist (en anglais : Nyquist rate), et la transmission au taux d'impulsion limite de $2B$ impulsions par seconde comme signalisation au taux de Nyquist. Nyquist a publié ses résultats en 1928 dans le cadre de son article "Certain topics in Telegraph Transmission Theory"^[1].

Loi de Hartley

En 1928, Hartley a formulé un moyen de quantifier l'information et son débit de ligne (également connu sous le nom de débit de signalisation des données (en) $R$ bits par seconde ou DSR)^[2]. Cette méthode, connue plus tard sous le nom de loi de Hartley, est devenue un précurseur important de la notion plus sophistiquée de Shannon de capacité des canaux.

Hartley a fait valoir que le nombre maximal de niveaux d'impulsion distinguables qui peuvent être transmis et reçus de manière fiable sur un canal de communication est limité par la plage dynamique de l'amplitude du signal et la précision avec laquelle le récepteur peut distinguer les niveaux d'amplitude. Plus précisément, si l'amplitude du signal transmis est limitée à la plage de [-A ... +A] volts, et la précision du récepteur est de ±ΔV volts, alors le nombre maximal d'impulsions distinctes $M$ est donné par .

$M=1+{A \over \Delta V}$ .

En prenant l'information par impulsion en bit/impulsion pour être le logarithme en base 2 du nombre de messages distincts $M$ qui pourraient être envoyés, Hartley^[3] a construit une mesure du débit de ligne $R$ comme :

R=f_{p}\log _{2}(M),

où $f_{p}$ est le taux d'impulsion, également appelé taux de symbole, en symboles par seconde ou baud.

Hartley a ensuite combiné la quantification ci-dessus avec l'observation de Nyquist selon laquelle le nombre d'impulsions indépendantes pouvant être mises dans un canal de largeur de bande $B$ hertz était de $2B$ impulsions par seconde, pour arriver à sa mesure quantitative du débit de ligne réalisable.

La loi de Hartley est parfois citée comme étant juste une proportionnalité entre la bande passante analogique, $B$ , en hertz et ce qu'on appelle aujourd'hui la bande passante numérique, $R$ , en bit/s^[4]. D'autres fois, il est cité sous cette forme plus quantitative, comme un débit de ligne réalisable de $R$ bits par seconde^[5] :

R\leq 2B\log _{2}(M).

Hartley n'a pas déterminé exactement comment le nombre $M$ devait dépendre des statistiques de bruit du canal, ni comment la communication pouvait être rendue fiable même lorsque les impulsions de symboles individuels ne pouvaient pas être distinguées de manière fiable à des niveaux $M$ ; avec des statistiques de bruit gaussiennes, les concepteurs de systèmes devaient choisir une valeur très conservatrice de $M$ pour obtenir un faible taux d'erreur.

Le concept d'une capacité sans erreur a attendu Claude Shannon, qui s'est appuyé sur les observations de Hartley concernant une mesure logarithmique de l'information et sur les observations de Nyquist concernant l'effet des limitations de la bande passante.

Le résultat du taux de Hartley peut être considéré comme la capacité d'un canal $M$ sans erreur de $2B$ symboles par seconde. Certains auteurs s'y réfèrent comme à une capacité. Mais un tel canal sans erreur est une idéalisation, et si $M$ est choisi suffisamment petit pour rendre le canal bruyant presque sans erreur, le résultat est nécessairement inférieur à la capacité de Shannon du canal bruyant de largeur de bande $B$ , qui est le résultat de Hartley-Shannon qui a suivi plus tard.

Théorème de codage des canaux bruyants et capacité

Article principal : Théorème du codage de canal.

Le développement de la théorie de l'information par Claude Shannon pendant la Seconde Guerre mondiale a permis de franchir une nouvelle étape importante dans la compréhension de la quantité d'informations pouvant être communiquées de manière fiable par des canaux bruyants. S'appuyant sur les travaux de Hartley, le théorème de codage des canaux bruyants de Shannon (1948) décrit l'efficacité maximale possible des méthodes de correction d'erreurs en fonction des niveaux d'interférence du bruit et de corruption des données^[6]^,^[7]. La preuve du théorème montre qu'un code correcteur d'erreurs construit au hasard est essentiellement aussi bon que le meilleur code possible ; le théorème est prouvé par les statistiques de tels codes aléatoires.

Le théorème de Shannon montre comment calculer une capacité de canal à partir d'une description statistique d'un canal, et établit que, étant donné un canal bruyant avec une capacité $C$ et une information transmise à un débit $R$ , alors si

R<C

il existe une technique de codage qui permet de rendre la probabilité d'erreur au récepteur arbitrairement petite. Cela signifie que, théoriquement, il est possible de transmettre des informations presque sans erreur jusqu'à une limite proche de $C$ bits par seconde.

L'inverse est également important. Si

R>C

la probabilité d'erreur au niveau du récepteur augmente sans limite au fur et à mesure que le débit augmente. Donc aucune information utile ne peut être transmise au-delà de la capacité du canal. Le théorème ne traite pas de la situation rare où le taux et la capacité sont égaux.

Le théorème de Shannon-Hartley établit ce qu'est la capacité du canal pour un canal à bande passante finie en temps continu soumis à un bruit gaussien. Il relie le résultat de Hartley au théorème de la capacité du canal de Shannon sous une forme qui équivaut à spécifier le "M" de la formule du débit de ligne de Hartley en termes de rapport signal/bruit, mais en obtenant la fiabilité par un codage correcteur d'erreurs plutôt que par des niveaux d'impulsion pouvant être distingués de manière fiable.

Si un canal analogique sans bruit existait, on pourrait y transmettre des quantités illimitées de données sans erreur par unité de temps (notez qu'un canal analogique à largeur de bande infinie ne pourrait pas transmettre des quantités illimitées de données sans erreur si la puissance du signal n'était pas infinie). Les canaux réels, cependant, sont soumis à des limitations imposées par une largeur de bande finie et un bruit non nul.

La largeur de bande et le bruit ont une incidence sur la vitesse à laquelle les informations peuvent être transmises sur un canal analogique. Les limitations de la bande passante n'imposent pas à elles seules une limite au débit maximal d'information, car il est toujours possible que le signal prenne un nombre indéfiniment grand de niveaux de tension différents sur chaque impulsion de symbole, chaque niveau légèrement différent se voyant attribuer une signification ou une séquence de bits différente. Si l'on tient compte à la fois du bruit et des limitations de la largeur de bande, il y a toutefois une limite à la quantité d'informations qui peut être transférée par un signal d'une puissance limitée, même lorsque des techniques sophistiquées de codage à plusieurs niveaux sont utilisées.

Dans le canal considéré par le théorème de Shannon-Hartley, le bruit et le signal sont combinés par addition. C'est-à-dire que le récepteur mesure un signal qui est égal à la somme du signal codant l'information désirée et d'une variable aléatoire continue qui représente le bruit. Cette addition crée une incertitude quant à la valeur du signal d'origine. Si le récepteur dispose de certaines informations sur le processus aléatoire qui génère le bruit, on peut en principe récupérer l'information du signal original en considérant tous les états possibles du processus de bruit. Dans le cas du théorème de Shannon-Hartley, on suppose que le bruit est généré par un processus gaussien dont la variance est connue. Comme la variance d'un processus gaussien est équivalente à sa puissance, il est conventionnel d'appeler cette variance la puissance du bruit.

Un tel canal est appelé canal à bruit blanc gaussien additif, car un bruit gaussien est ajouté au signal ; "blanc" signifie des quantités égales de bruit à toutes les fréquences dans la bande passante du canal. Ce bruit peut provenir à la fois de sources d'énergie aléatoires et d'erreurs de codage et de mesure chez l'émetteur et le récepteur respectivement. Comme les sommes de variables aléatoires gaussiennes indépendantes sont elles-mêmes des variables aléatoires gaussiennes, cela simplifie l'analyse, si l'on suppose que ces sources d'erreur sont également gaussiennes et indépendantes.

Implications du théorème

Comparaison de la capacité de Shannon à la loi de Hartley

En comparant la capacité du canal au taux d'information de la loi de Hartley, nous pouvons trouver le nombre effectif de niveaux distinguables $M$ ^[8] :

2B\log _{2}(M)=B\log _{2}\left(1+{\frac {S}{N}}\right)

M={\sqrt {1+{\frac {S}{N}}}}.

La racine carrée reconvertit effectivement le rapport de puissance en rapport de tension, de sorte que le nombre de niveaux est approximativement proportionnel au rapport entre l'amplitude RMS du signal et l'écart-type du bruit.

Cette similitude de forme entre la capacité de Shannon et la loi de Hartley ne doit pas être interprétée comme signifiant que $M$ niveaux d'impulsion peuvent être littéralement envoyés sans aucune confusion. Il faut davantage de niveaux pour permettre un codage redondant et une correction des erreurs, mais le débit net de données que l'on peut approcher avec le codage est équivalent à l'utilisation de ce $M$ dans la loi de Hartley.

Cas dépendant de la fréquence (bruit coloré)

Dans la version simple ci-dessus, le signal et le bruit sont totalement non corrélés, auquel cas $S+N$ est la puissance totale du signal reçu et du bruit ensemble. Une généralisation de l'équation ci-dessus pour le cas où le bruit additif n'est pas blanc (ou que le $S/N$ n'est pas constant avec la fréquence sur la bande passante) est obtenue en traitant le canal comme de nombreux canaux gaussiens étroits et indépendants en parallèle :

C=\int _{0}^{B}\log _{2}\left(1+{\frac {S(f)}{N(f)}}\right)df

où

$C$ est la capacité du canal en bits par seconde ;
$B$ est la largeur de bande du canal en Hz ;
$S(f)$ est le spectre de puissance du signal.
$N(f)$ est le spectre de puissance du bruit.
$f$ est la fréquence en Hz.

Remarque : le théorème ne s'applique qu'au bruit stationnaire gaussien. La façon dont cette formule introduit le bruit dépendant de la fréquence ne peut pas décrire tous les processus de bruit à temps continu. Par exemple, considérons un processus de bruit consistant à ajouter une onde aléatoire dont l'amplitude est 1 ou −1 à tout moment, et un canal qui ajoute une telle onde au signal source. Les composantes de fréquence d'une telle onde sont très dépendantes. Bien qu'un tel bruit puisse avoir une puissance élevée, il est assez facile de transmettre un signal continu avec beaucoup moins de puissance que celle dont on aurait besoin si le bruit sous-jacent était une somme de bruits indépendants dans chaque bande de fréquence.

Approximations

Pour des rapports signal/bruit grands ou petits et constants, la formule de capacité peut être approximée :

Cas limité par la bande passante

Lorsque le SNR est grand ( $S / N ≫ 1$ ), le logarithme est approximé par

\log _{2}\left(1+{\frac {S}{N}}\right)\approx \log _{2}{\frac {S}{N}}={\frac {\ln 10}{\ln 2}}\cdot \log _{10}{\frac {S}{N}}\approx 3.32\cdot \log _{10}{\frac {S}{N}},

auquel cas la capacité est logarithmique en puissance et approximativement linéaire en largeur de bande (pas tout à fait linéaire, puisque $N$ augmente avec la largeur de bande, ce qui confère un effet logarithmique). C'est ce qu'on appelle le régime à bande passante limitée.

C\approx 0.332\cdot B\cdot \mathrm {SNR\ (in\ dB)}

où

\mathrm {SNR\ (en\ dB)} =10\log _{10}{S \over N}.

Cas limité en puissance

De même, lorsque le SNR est faible (si $S/N\ll 1$ ), l'application de l'approximation au logarithme :

\log _{2}\left(1+{\frac {S}{N}}\right)={\frac {1}{\ln 2}}\cdot \ln \left(1+{\frac {S}{N}}\right)\approx {\frac {1}{\ln 2}}\cdot {\frac {S}{N}}\approx 1.44\cdot {S \over N};

alors la capacité est linéaire en puissance. On parle alors de régime à puissance limitée.

C\approx 1.44\cdot B\cdot {S \over N}.

Dans cette approximation à faible SNR, la capacité est indépendante de la largeur de bande si le bruit est blanc, de densité spectrale. $N_{0}$ watts par hertz, auquel cas la puissance totale du bruit est $N=B\cdot N_{0}$ .

C\approx 1.44\cdot {S \over N_{0}}

Exemples

Pour un rapport SNR de 0 dB (puissance du signal = puissance du bruit), la capacité en bits/s est égale à la largeur de bande en hertz.
Si le rapport SNR est de 20 dB et que la largeur de bande disponible est de 4 kHz, ce qui est approprié pour les communications téléphoniques, alors C = 4000 log₂(1 + 100) = 4000 log₂ (101) = 26.63 kbit/s. Notez que la valeur de S/N = 100 est équivalente à un SNR de 20 dB.
Si l'exigence est de transmettre à 50 kbit/s, et qu'une bande passante de 10 kHz est utilisée, alors le S/N minimum requis est donné par50000 = 10000 log₂(1+S/N) donc C/B = 5 alors S/N = 2⁵ - 1 = 31, correspondant à un SNR de 14,91 dB (10 x log₁₀(31)).
Quelle est la capacité du canal pour un signal ayant une largeur de bande de 1 MHz, reçu avec un SNR de -30 dB ? Cela signifie un signal profondément enfoui dans le bruit. -30 dB signifie un S/N = 10⁻³. Cela conduit à un débit maximal d'information de 10⁶ log₂ (1 + 10⁻³) = 1443 bit/s. Ces valeurs sont typiques des signaux reçus du GPS, où le message de navigation est envoyé à 50 bit/s (en dessous de la capacité du canal pour un S/N donné), et dont la bande passante est étalée à environ 1 MHz par une multiplication du pseudo-bruit avant transmission.
Comme indiqué ci-dessus, la capacité d'un canal est proportionnelle à la largeur de bande du canal et au logarithme du rapport SNR. Cela signifie que la capacité du canal peut être augmentée linéairement soit en augmentant la largeur de bande du canal pour un SNR fixe, soit, avec une largeur de bande fixe, en utilisant des modulations d'ordre supérieur (4-aire et plus) qui nécessitent un SNR très élevé pour fonctionner. Au fur et à mesure que le taux de modulation augmente, l'efficacité spectrale s'améliore, mais au prix de l'exigence de SNR. Ainsi, on observe une augmentation exponentielle du rapport signal/bruit requis si l'on adopte une modulation 16QAM ou 64QAM (voir : Modulation d'amplitude en quadrature) ; cependant, l'efficacité spectrale s'améliore.

Bibliographie

Herbert Taub et Donald L. Schilling, Principles of Communication Systems, McGraw-Hill, 1986 (ISBN 978-0-07-062956-1, OCLC 12107009)
John M. Wozencraft et Irwin Mark Jacobs, Principles of Communications Engineering, Wiley, 1965 (ISBN 978-0-471-96240-3, OCLC 1325622)

Notes et références

↑ Harry Nyquist, « Certain topics in telegraph transmission theory », Trans. AIEE, vol. 47, n^o 2,‎ avril 1928, p. 617-644 (DOI 10.1109/T-AIEE.1928.5055024, Bibcode 1928TAIEE..47..617N, lire en ligne). Également Réimpression 2002 DOI 10.1109/5.989873.
↑ (en) R. V. L. Hartley, « Transmission of Information », Bell System Technical Journal, vol. 7, n^o 3,‎ juillet 1928, p. 535-563 (DOI 10.1002/j.1538-7305 .1928.tb01236.x, lire en ligne)
↑ (en) D. A. Bell, Information Theory ; and its Engineering Applications, New York, Pitman, 1962, 3rd éd. (ISBN 9780273417576, lire en ligne)
↑ (en) Anu A. Gokhale, Introduction to Telecommunications, Thomson Delmar Learning, 2004, 2^e éd. (ISBN 1-4018-5648-9, lire en ligne).
↑ (en) John Dunlop et D. Geoffrey Smith, Telecommunications Engineering, CRC Press, 1998 (ISBN 0-7487-4044-9, lire en ligne)
↑ (en) C. E. Shannon, The Mathematical Theory of Communication, Urbana, IL, University of Illinois Press, 1998 (1^re éd. 1949) (lire en ligne [PDF]).
↑ (en) C. E. Shannon, « Communication in the presence of noise », Proceedings of the Institute of Radio Engineers, vol. 37, n^o 1,‎ janvier 1949, p. 10-21 (DOI 10.1109/JRPROC.1949.232969, S2CID 52873253, lire en ligne [archive du 8 février 2010] [PDF]).
↑ (en) John Robinson Pierce, An Introduction to Information Theory : symbols, signals & noise, Courier, 1980 (ISBN 0-486-24061-4, lire en ligne ).

Voir aussi

Liens externes

(en) Ouvrage en ligne de langue anglaise : "Information Theory, Inference, and Learning Algorithms", de David MacKay - Cet ouvrage présente une introduction divertissante et complète à la théorie de Shannon, y compris deux preuves du théorème de codage du canal bruyant. Ce texte aborde également les méthodes les plus récentes de la théorie du codage, telles que les low-density parity-check codes, et les Turbo codes.
(en) MIT News article on Shannon Limit (Article du MIT News sur la limite de Shannon)

[Nyquist-1] Harry Nyquist, « Certain topics in telegraph transmission theory », Trans. AIEE, vol. 47, n^o 2,‎ avril 1928, p. 617-644 (DOI 10.1109/T-AIEE.1928.5055024, Bibcode 1928TAIEE..47..617N, lire en ligne). Également Réimpression 2002 DOI 10.1109/5.989873.

[2] (en) R. V. L. Hartley, « Transmission of Information », Bell System Technical Journal, vol. 7, n^o 3,‎ juillet 1928, p. 535-563 (DOI 10.1002/j.1538-7305 .1928.tb01236.x, lire en ligne)

[3] (en) D. A. Bell, Information Theory ; and its Engineering Applications, New York, Pitman, 1962, 3rd éd. (ISBN 9780273417576, lire en ligne)

[4] (en) Anu A. Gokhale, Introduction to Telecommunications, Thomson Delmar Learning, 2004, 2^e éd. (ISBN 1-4018-5648-9, lire en ligne).

[5] (en) John Dunlop et D. Geoffrey Smith, Telecommunications Engineering, CRC Press, 1998 (ISBN 0-7487-4044-9, lire en ligne)

[6] (en) C. E. Shannon, The Mathematical Theory of Communication, Urbana, IL, University of Illinois Press, 1998 (1^re éd. 1949) (lire en ligne [PDF]).

[7] (en) C. E. Shannon, « Communication in the presence of noise », Proceedings of the Institute of Radio Engineers, vol. 37, n^o 1,‎ janvier 1949, p. 10-21 (DOI 10.1109/JRPROC.1949.232969, S2CID 52873253, lire en ligne [archive du 8 février 2010] [PDF]).

[8] (en) John Robinson Pierce, An Introduction to Information Theory : symbols, signals & noise, Courier, 1980 (ISBN 0-486-24061-4, lire en ligne ).

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]