Règle de Hebb

La règle de Hebb, théorie de Hebb, postulat de Hebb ou théorie des assemblées de neurones a été établie par Donald Hebb en 1949. Elle est à la fois utilisée comme hypothèse en neurosciences et comme concept dans les réseaux neuronaux en mathématiques.

Cette théorie est souvent résumée par la formule : « des neurones qui s'excitent ensemble se lient entre eux. » (« cells that fire together, wire together ») C'est une règle algorithmique d'apprentissage des réseaux de neurones artificiels dans le contexte de l'étude d'assemblées de neurones.

Elle est basée sur une hypothèse scientifique en neurosciences. Elle décrit les changements d'adaptation neuronale dans le cerveau ou dans un réseau de neurones pendant un processus d'apprentissage. Elle décrit un mécanisme basique de plasticité synaptique dans laquelle l'efficacité synaptique augmente lors d'une stimulation présynaptique répétée et persistante de la cellule postsynaptique.

« Faisons l'hypothèse qu'une activité persistante et répétée d'une activité avec réverbération (ou trace) tend à induire un changement cellulaire persistant qui augmente sa stabilité. Quand un axone d'une cellule A est assez proche pour exciter une cellule B de manière répétée et persistante, une croissance ou des changements métaboliques prennent place dans l'une ou les deux cellules ce qui entraîne une augmentation de l'efficacité de A comme cellule stimulant B. »

— Donald Hebb, 1949.

Cette règle suggère que lorsque deux neurones sont excités conjointement, il se crée ou renforce un lien les unissant. Cette théorie tente d'expliquer l'apprentissage associatif, dans lequel une association est faite par la répétition de deux stimuli. La répétition d'un stimulus seul entraîne le rappel de l'autre stimulus ensuite (voir apprentissage pavlovien).

Variantes de la règle de Hebb

Depuis la formulation initiale de la règle de Hebb, plusieurs variantes et généralisations ont été proposées pour mieux rendre compte des mécanismes biologiques ou pour surmonter certaines limites (telles que la croissance sans borne des poids synaptiques). On distingue principalement :

Apprentissage de type "taux de décharge"

Dans ces modèles, la variable clé est le « taux de décharge » ou activité moyenne du neurone (plutôt que la séquence précise de potentiels d’action).

Règle de Hebb classique 

Le changement de poids $\Delta w$ est généralement proportionnel au produit des activités pré- et post-synaptiques moyennes ${\bigl (}x\times y{\bigr )}$. En pratique, cette règle sans mécanisme de normalisation peut conduire à une croissance indéfinie des poids.

$\Delta w_{i}=\eta x_{i}y$

Règle d’Oja

Proposée pour éviter la croissance sans borne des synapses, elle incorpore une normalisation continue des poids. Elle peut être écrite (dans sa forme simple) sous la forme :

$\Delta w_{i}=\eta \,y\,{\bigl (}x_{i}-y\,w_{i}{\bigr )}$

où $x_{i}$ est l’entrée pré-synaptique, $y$ l’activité post-synaptique et $\eta$ le taux d’apprentissage.

Règle BCM (Bienenstock–Cooper–Munro)  

Introduite pour expliquer à la fois la potentialisation (LTP) et la dépression (LTD) en fonction de l’activité du neurone, la règle BCM ajoute un seuil dynamique $\theta _{M}$. Le signe de la plasticité (renforcement ou affaiblissement) dépend du rapport entre l’activité post-synaptique $y$ et ce seuil $\theta _{M}$.

$\Delta w_{i}=\eta x_{i}y(y-\theta _{M})$

Plasticité fonction du temps d'occurrence des impulsions (STDP)

Dans ces modèles, la synapse se modifie en fonction du décalage temporel précis entre les potentiels d’action du neurone présynaptique et ceux du neurone postsynaptique.

STDP pair

Quand une impulsion présynaptique précède de peu une impulsion postsynaptique, un renforcement synaptique (PLT) survient. Inversement, si l'impulsion postsynaptique précède l'impulsion présynaptique, on observe un affaiblissement (DLT).

STDP triplet  

Pour mieux rendre compte de la dynamique de décharge réelle des neurones, cette variante prend en compte non seulement l’intervalle entre deux impulsions (pré et post), mais également l’influence d’une troisième impulsions (généralement post-synaptique) dans la fenêtre temporelle, affinant ainsi la prédiction des changements synaptiques.

Engrammes d'Hebb et théorie des assemblées de neurones

La théorie d'Hebb s'intéresse à la manière dont les neurones se connectent entre eux pour former des engrammes. Gordon Allport propose des hypothèses complémentaires :

« Si l'entrée de données dans un système (input) cause l'apparition répétée du même modèle de stimulation, l'organisation des éléments actifs de ce système sera fortement renforcée. Ainsi, chaque élément activé aura tendance à activer chaque autre élément et (a contrario) à inactiver les éléments qui ne font pas partie de cette configuration. Pour le dire autrement, la configuration comme un tout sera « auto-associée ». Nous pouvons appeler une configuration apprise (auto associée) un engramme. »

— Allport 1985, p. 44.

L'« algorithme de Hebb » est un modèle simplifié, mais puissant de l'apprentissage associatif, où une association est faite par la répétition de deux stimuli. Par exemple, si le neurone présynaptique est activé par la vue d'un chien et que le neurone postsynaptique est activé par le mot « chien », l'algorithme de Hebb renforcera la connexion entre ces deux neurones. Avec les répétitions, cette connexion devient de plus en plus forte ; assez pour que le neurone postsynaptique soit ensuite activé par la seule vue du mot « chien ».

Le travail du prix Nobel Eric Kandel a fourni une preuve de l'implication des mécanismes d'apprentissages de Hebb dans les synapses du gastéropode marin Aplysia californica. Mais il est plus difficile de vérifier ces théories sur les systèmes nerveux centraux des vertébrés, au cerveau plus complexe.

Le phénomène de potentialisation à long terme, un équivalent biologique de la « synapse de Hebb », joue un grand rôle dans les théories neurobiologiques de la mémoire. L'algorithme de Hebb sert à expliquer comment les souvenirs sont stockés dans le cerveau (quand un événement est subi ou provoqué de manière répétée, les connexions entre les neurones qui représentent cet événement seront renforcées. Avec suffisamment de répétitions, ces connexions deviendront suffisamment fortes pour que le souvenir de l'événement puisse être rappelé).
Il a été proposé par Kannappan et al. (2011) pour expliquer certains phénomènes neuroatypiques observés dans l'autisme : tout ou partie du cerveau de personnes autistes semblent présenter une plasticité synaptique excessive, certaines de leurs synapses semblant plus susceptibles de se renforcer, ce qui pourrait conduire à une hyperconnectivité cérébrale, un trait observé chez elles qui pourrait expliquer certaines caractéristiques de l'autisme (mémorisation exceptionnelle, mais aussi difficultés de communication et d'interaction sociale). Inversement, certains réseaux neuronaux ou certaines personnes autistes pourraient avoir une plasticité synaptique insuffisante (synapses moins susceptibles de se renforcer, conduisant à une hypoconnectivité cérébrale, observée chez certaines personnes autistes et qui pourrait expliquer des comportements atypiques (gestes ou activités répétitives et intérêts restreints). L'algorithme de Hebb stipule que la connexion entre les neurones qui représentent un stimulus sera renforcée. Cela peut conduire à ce que la personne autiste développe un intérêt intense pour ce stimulus.

Application en apprentissage automatique

Les notions d'« algorithmes hebbiens » («Hebbian learning algorithm» et d'algorithme d'apprentissage hebbien non linéaire utilisant le principe de plasticité synaptique en modifiant les poids synaptiques et des relations entre neurones artificiels sont aussi utilisée dans les domaines de l'étude de l'apprentissage du langage et de l'intelligence artificielle.

Une équipe d'experts a publié en 2011 un modèle prometteur de prédiction du trouble du spectre autistique (TSA) à l'aide d'une carte cognitive floue (FCM) et d'un algorithme d'apprentissage hebbien non linéaire. Ce modèle FCM est dénommé C24 (car construit sur 24 concepts, représentant trois valeurs floues) ; il a été formé sur un ensemble de données de personnes diagnostiquées avec TSA. Selon les auteurs, il a pu prédire le TSA] avec un degré de précision élevé et « il pourrait donc être utilisé pour aider les médecins à identifier les patients qui sont plus susceptibles d'être atteints de TSA ».

Annexes

Bibliographie

• (en) D.O. Hebb, The organization of behavior, New York, Wiley, 1949
• (en) D.O. Hebb et J. F. Delafresnaye (Ed.) (éditeur), Brain Mechanisms and Learning, Londres, Oxford University Press, 1961, « Distinctive features of learning in the higher animal »
• D.O. Hebb, « Human behaviour after extensive bilateral removal from the frontal lobes », Archives of Neurology and Psychiatry, vol. 44,‎ 1940, p. 421–436
• (en) D.A. Allport, Newman, S.K. (éditeur) et Epstein, R. (éditeur), Current Perspectives in Dysphasia, Édimbourg, Churchill Livingstone, 1985 (ISBN 0-443-03039-1), « Distributed memory, modular systems and dysphasia »
• (en) C.M. Bishop, Neural Networks for Pattern Recognition, Oxford, Oxford University Press, 1995 (ISBN 0-19-853849-9)
• O. Paulsen, « Natural patterns of activity and long-term synaptic plasticity », Current opinion in neurobiology, vol. 10, n^o 2,‎ 2000, p. 172–179 (PMID 10753798, PMCID 2900254, DOI 10.1016/S0959-4388(00)00076-3)

Articles connexes

• Donald Hebb
• Plasticité synaptique
• Règle BCM

Liens externes

• Vue d'ensemble