En 1985, deux scientifiques entrevoient le potentiel des réseaux de neurones. Ils sont aujourd'hui « les pères de l'IA » et lauréats du prix Nobel

En 1956, un groupe de scientifiques, mathématiciens et penseurs se réunit au Dartmouth College. Parmi eux, Marvin Minsky, Claude Shannon et John Nash – celui de « A Beautiful Mind » – se sont rencontrés pour parler d'une discipline totalement nouvelle. Aujourd’hui, ces deux mots sont partout, mais à l’époque ils semblaient étranges et utopiques.

Ces deux mots n'étaient autres que intelligence artificielle.

Ce nom est venu à l'esprit de John McCarthy, le jeune professeur de cette institution qui a travaillé pendant un an pour organiser ce cycle de réunions. Tous les participants à cette conférence se sont montrés enthousiasmés par le projet de création d’intelligence artificielle, même s’ils se sont retrouvés confrontés à une terrible réalité : ils étaient en avance sur leur temps. Les capacités informatiques de l’époque ne permettaient pas de résoudre les grands défis de l’IA.

Bonjour les réseaux de neurones artificiels

Cependant, la discipline a continué à se développer et peu à peu des progrès ont été réalisés dans plusieurs de ses piliers. L'un d'eux, le réseaux de neurones artificiels (ANN) était particulièrement prometteur pour l’un des gros problèmes actuels : la reconnaissance de formes.

Ce problème a permis, par exemple, l'interprétation d'images et une machine capable de reconnaître ce que montrait une image. Qu'un chien soit un chien ou qu'un humain soit un humain, par exemple. Le travail dans ce domaine a évolué de manière irrégulière, mais en 1982, quelque chose s’est produit.

cette année-là John Hopfieldphysicien théoricien, né en 1933 et fils de deux physiciens théoriciens, a publié des travaux sur un modèle de mémoire associative basé sur un réseau neuronal récurrent. Les concepts qu'il manipulait étaient étroitement liés au domaine de la physique bien qu'ils soient appliqués au domaine de l'informatique, plus précisément à la description des matériaux magnétiques, et Hopfield était très clair à ce sujet.

Son idée était unique et permettait à un système initialisé avec un modèle incorrect – par exemple, un mot mal orthographié – d’être « attiré par un nœud « d’énergie la plus basse » du réseau neuronal, entraînant la correction du système – dont le résultat était le mot. orthographié correctement.

L'idée a fini par donner lieu à un travail de Hopfield et David Tank en 1986. Ils y proposaient un système permettant de résoudre des problèmes complexes. inspiré par le comportement des systèmes physiques au fil du temps.

Dans le « modèle analogique », comme ils l’appelaient, au lieu de travailler avec des nombres (zéros et uns) et des ordinateurs, ils ont utilisé un système qui évoluait de manière fluide, graduelle et continue. Ils ont codé le problème avec un réseau dans lequel les connexions entre les différentes parties du réseau avaient un certain poids et qui guidait le système pour obtenir la meilleure solution. Selon l'Académie royale des sciences de Suède, « Hopfield a apporté une contribution fondamentale à notre compréhension des capacités informatiques des réseaux neuronaux ».

Justement pour « compléter » l’œuvre de Hopfield Le travail de Geoffrey Hinton a été crucialqui, entre 1983 et 1985, a travaillé avec Terrence Sejnowski et d'autres chercheurs pour développer une extension stochastique (probabiliste) du modèle Hopfield de 1982. Il l'a appelé la machine de Boltzmann, et elle avait une particularité que nos lecteurs comprendront sûrement facilement :

C'était un modèle génératif.

En cela, il diffère du modèle de Hopfield. Ici, Hinton s'est concentré sur les distributions statistiques des modèles, et non sur les modèles individuels. Sa machine Boltzmann – également un réseau neuronal récurrent – ​​contenait des nœuds visibles correspondant à des modèles qui devaient être « appris ». Le système essaie d’apprendre dans quelle mesure les différentes solutions sont bonnes ou mauvaises lors de la résolution du problème, il ne se concentre pas sur une seule solution exacte.

En plus des nœuds visibles, la machine possède des nœuds cachés, des composants supplémentaires qui permettent à la machine de capturer des relations plus complexes et variées entre ces modèles. Ces nœuds cachés vous permettent également de modéliser la capacité de comprendre davantage de possibilités, au lieu de vous limiter aux modèles spécifiques que nous vous montrons. Ou qu'est-ce qui est pareil : Cela peut générer des choses que je n'avais pas vues mais ils ont probablement du sens.

Des ANN à ChatGPT

Tant le modèle Hopfield que la machine Boltzmann permirent de développer des applications très intéressantes dans les années suivantes. Entre autres, dans la reconnaissance de formes dans les images, les textes et les données cliniques. À partir de ces travaux, Yann LeCun (aujourd'hui responsable de l'IA chez Meta) et Yoshua Bengio ont entrevu des réseaux de neurones convolutifs (CNN) appliqués à des choses curieuses : plusieurs entités bancaires aux États-Unis ont utilisé les travaux de LeCun pour classer les chiffres manuscrits des chèques au milieu de l'année. Années 1990.

La contribution de Hinton ne s’arrête pas là. Au tournant du millénaire, il développe une variante de son projet appelée machine Boltzmann restreinte qui fonctionne beaucoup plus rapidement et permet de travailler avec des réseaux très denses comportant de nombreuses couches, ce qui conduira à la création d'une discipline particulièrement connue : le deep learning. . soit .

Les applications des ANN se sont avérées extraordinaires dans de nombreux domaines comme l'astrophysique ou l'astronomie, mais aussi, bien sûr, dans le domaine de l'informatique. L'académie suédoise utilise AlphaFold, le projet DeepMind, comme exemple, mais ces types de modèles avec des réseaux de neurones artificiels Ils sont utilisés par exemple dans les chatbots comme ChatGPT, Gemini ou Claude.

Le travail des deux lauréats du prix Nobel de physique a donc été fondamental pour toute l'évolution de ce domaine, et bien qu'avant, pendant et après Hopfield et Hinton beaucoup plus de personnes aient contribué à son développement, leurs travaux ont fait d'eux les « pères de l'IA ».  » et a également été considéré comme méritant ce prix prestigieux.

Images | Conférence sur les collisions | Bhadeshia