Le Nobel de physique décerné aux pionniers des réseaux neuronaux qui ont jeté les bases de l'IA

Le prix Nobel de physique 2024 a été décerné aux scientifiques John Hopfield et Geoffrey Hinton « pour leurs découvertes et inventions fondamentales qui permettent l'apprentissage automatique avec des réseaux de neurones artificiels ».

Inspirés par des idées issues de la physique et de la biologie, Hopfield et Hinton ont développé des systèmes informatiques capables de mémoriser et d'apprendre des modèles de données. Bien qu'ils n'aient jamais collaboré directement, ils se sont appuyés sur les travaux de chacun pour développer les bases de l'essor actuel de l'apprentissage automatique et de l'intelligence artificielle (IA).

Que sont les réseaux de neurones ? (Et qu’est-ce qu’ils ont à voir avec la physique ?)

Les réseaux de neurones artificiels sont à l’origine d’une grande partie de la technologie d’IA que nous utilisons aujourd’hui.

De la même manière que votre cerveau possède des cellules neuronales reliées par des synapses, les réseaux de neurones artificiels comportent des neurones numériques connectés dans diverses configurations. Chaque neurone ne fait pas grand-chose. Au lieu de cela, la magie réside dans la structure et la force des liens qui les unissent.

Les neurones d'un réseau neuronal artificiel sont « activés » par des signaux d'entrée. Ces activations se répercutent d’un neurone à l’autre de manière à transformer et traiter les informations d’entrée. En conséquence, le réseau peut effectuer des tâches informatiques telles que la classification, la prédiction et la prise de décision.

La majeure partie de l’histoire de l’apprentissage automatique a consisté à trouver des moyens toujours plus sophistiqués pour former et mettre à jour ces connexions entre neurones artificiels.

Alors que l’idée fondamentale de relier des systèmes de nœuds pour stocker et traiter des informations est venue de la biologie, les mathématiques utilisées pour former et mettre à jour ces liens sont venues de la physique.

Des réseaux qui se souviennent

John Hopfield (né en 1933) est un physicien théoricien américain qui a apporté d'importantes contributions au cours de sa carrière dans le domaine de la physique biologique. Cependant, le prix Nobel de physique a été décerné pour ses travaux sur le développement des réseaux Hopfield en 1982.

Les réseaux Hopfield étaient l’un des premiers types de réseaux de neurones artificiels. Inspirés par les principes de la neurobiologie et de la physique moléculaire, ces systèmes ont démontré pour la première fois comment un ordinateur pouvait utiliser un « réseau » de nœuds pour mémoriser et rappeler des informations.

Les réseaux développés par Hopfield pourraient mémoriser des données (comme une collection d'images en noir et blanc). Ces images pourraient être « rappelées » par association lorsque le réseau reçoit une image similaire.

Bien que d'une utilité pratique limitée, les réseaux Hopfield ont démontré que ce type d'ANN pouvait stocker et récupérer des données de nouvelles manières. Ils ont jeté les bases des travaux ultérieurs de Hinton.

Des machines capables d'apprendre

Geoff Hinton (né en 1947), parfois appelé l'un des « parrains de l'IA », est un informaticien anglo-canadien qui a apporté un certain nombre de contributions importantes dans le domaine. En 2018, aux côtés de Yoshua Bengio et Yann LeCun, il a reçu le prix Turing (la plus haute distinction en informatique) pour ses efforts visant à faire progresser l'apprentissage automatique en général, et en particulier une branche de celui-ci appelée apprentissage profond.

Le prix Nobel de physique est cependant spécifiquement décerné pour son travail avec Terrence Sejnowski et d'autres collègues en 1984, développant des machines Boltzmann.

Il s'agit d'une extension du réseau Hopfield qui a démontré l'idée de l'apprentissage automatique, un système qui permet à un ordinateur d'apprendre non pas d'un programmeur, mais d'exemples de données. S'appuyant sur des idées issues de la dynamique énergétique de la physique statistique, Hinton a montré comment ce premier modèle informatique génératif pouvait apprendre à stocker des données au fil du temps en lui montrant des exemples de choses à retenir.

La machine Boltzmann, comme le réseau Hopfield avant elle, n'a pas eu d'applications pratiques immédiates. Cependant, une forme modifiée (appelée machine restreinte de Boltzmann) s'est avérée utile dans certains problèmes appliqués.

Plus importante encore a été la percée conceptuelle selon laquelle un réseau neuronal artificiel pouvait apprendre des données. Hinton a continué à développer cette idée. Il a ensuite publié des articles influents sur la rétropropagation (le processus d'apprentissage utilisé dans les systèmes d'apprentissage automatique modernes) et les réseaux neuronaux convolutifs (le principal type de réseau neuronal utilisé aujourd'hui pour les systèmes d'IA qui fonctionnent avec des données d'image et vidéo).

Pourquoi ce prix, maintenant ?

Les réseaux Hopfield et les machines Boltzmann semblent fantaisistes comparés aux prouesses actuelles de l’IA. Le réseau de Hopfield ne contenait que 30 neurones (il a essayé d'en créer un avec 100 nœuds, mais c'était trop pour les ressources informatiques de l'époque), alors que les systèmes modernes tels que ChatGPT peuvent en avoir des millions. Cependant, le prix Nobel décerné aujourd'hui souligne à quel point ces premières contributions ont été importantes dans ce domaine.

Même si les récents progrès rapides de l’IA – que la plupart d’entre nous connaissent grâce aux systèmes d’IA générative tels que ChatGPT – peuvent sembler une justification pour les premiers partisans des réseaux neuronaux, Hinton a au moins exprimé son inquiétude. En 2023, après avoir quitté une décennie au sein de la branche IA de Google, il a déclaré qu'il était effrayé par le rythme de développement et a rejoint la foule croissante de voix appelant à une réglementation plus proactive de l'IA.

Après avoir reçu le prix Nobel, Hinton a déclaré que l'IA serait « comme la révolution industrielle, mais qu'au lieu de nos capacités physiques, elle dépasserait nos capacités intellectuelles ». Il a également déclaré qu'il craignait toujours que les conséquences de son travail pourraient être « des systèmes plus intelligents que nous qui pourraient éventuellement prendre le contrôle ».