Comment les modèles d'IA s'apprennent à apprendre de nouvelles choses

Comment les modèles d’IA s’apprennent à apprendre de nouvelles choses

Crédit : Pixabay/CC0 Domaine public

Malgré leur énorme succès, le fonctionnement interne des grands modèles de langage tels que la famille de modèles GPT d’OpenAI et Google Bard reste un mystère, même pour leurs développeurs. Des chercheurs de l’ETH et de Google ont découvert un mécanisme clé potentiel derrière leur capacité à apprendre à la volée et à affiner leurs réponses en fonction des interactions avec leurs utilisateurs.

Johannes von Oswald est doctorant dans le groupe dirigé par Angelika Steger, professeur ETH d’informatique théorique, et étudie les algorithmes d’apprentissage pour les réseaux de neurones. Son nouvel article sera présenté à la Conférence internationale sur l’apprentissage automatique (ICML) fin juillet. Il est actuellement disponible sur le arXiv serveur de préimpression.

Le T dans GPT signifie transformateurs. Que sont les transformateurs et pourquoi sont-ils devenus si répandus dans l’IA moderne ?

Johannes von Oswald : Les transformateurs sont une architecture particulière de réseau de neurones artificiels. Il est par exemple utilisé par de grands modèles linguistiques tels que ChatGPT, mais a été mis sur la carte en 2017 par des chercheurs de Google, où il a conduit à des performances de pointe en matière de traduction linguistique. Curieusement, une version légèrement modifiée de cette architecture a déjà été développée par le pionnier de l’IA Jürgen Schmidhuber en 1991.

Et qu’est-ce qui distingue cette architecture ?

Avant la récente percée de Transformers, différentes tâches, par exemple la classification d’images et la traduction de langues, utilisaient différentes architectures de modèles, chacune spécialisée dans ces domaines spécifiques. Un aspect crucial qui distingue les transformateurs de ces modèles d’IA précédents est qu’ils semblent fonctionner extrêmement bien sur tout type de tâche. En raison de leur utilisation répandue, il est important de comprendre leur fonctionnement.

Qu’est-ce que vos recherches ont révélé?

Alors que les réseaux de neurones sont généralement considérés comme une boîte noire qui crache une sortie lorsqu’ils sont fournis avec une entrée, nous avons montré que les transformateurs peuvent apprendre par eux-mêmes à implémenter des algorithmes dans leur architecture. Nous avons pu montrer qu’ils pouvaient implémenter un algorithme d’apprentissage automatique classique et puissant qui apprend à partir des informations récentes qu’il reçoit.

Pouvez-vous donner un exemple où ce type d’apprentissage peut se produire ?

Vous pouvez, par exemple, fournir au modèle de langage plusieurs textes et le sentiment (positif ou négatif) associé à chacun d’eux. Vous pouvez ensuite présenter le modèle avec un texte qu’il n’a jamais vu auparavant, et il prédira s’il est positif ou négatif en fonction des exemples que vous avez fournis.

Donc vous dites que le mannequin s’apprend une technique pour apprendre de nouvelles choses ?

Oui, c’est surprenant mais vrai. Poussée par la simple pression d’améliorer son objectif de formation, à savoir prédire l’avenir immédiat, elle développe une technique qui lui permet d’apprendre des conversations qu’elle a avec ses utilisateurs, par exemple. Ce type d’apprentissage est ce que nous appelons l’apprentissage en contexte.

Tous ces modèles reçoivent une saisie de texte. Pouvez-vous décrire comment les transformateurs utilisent ces informations minimales pour optimiser leur sortie ?

Une façon d’y parvenir – et notre article montre que c’est une possibilité probable – est d’apprendre ce que vous pourriez appeler un modèle mondial qui vous permet de faire des prédictions. Ce qui est intéressant, c’est que cet apprentissage a lieu à l’intérieur du transformateur qui a déjà été entraîné. L’apprentissage impliquerait normalement de changer les connexions dans le réseau neuronal du modèle. Nous avons montré que le modèle de transformateur est en quelque sorte capable de simuler le même processus d’apprentissage au sein de son architecture neuronale fixe.

Comment cette capacité émerge-t-elle dans les transformateurs ?

Nous avons émis l’hypothèse dans notre article que l’architecture du transformateur a un biais inductif vers l’apprentissage. Cela signifie que sa capacité à développer ces mécanismes d’apprentissage est implicitement intégrée dans sa conception de base, avant même que le modèle ne soit entraîné.

GPT-3, le modèle derrière ChatGPT, compte 175 milliards de paramètres. Comment étudier un si grand système ?

Il existe différentes manières d’essayer de comprendre ces systèmes. Certains chercheurs adoptent une approche psychologique et analysent comment les modèles réagissent lorsqu’ils sont confrontés à des tests standardisés ou à des situations conflictuelles telles que des dilemmes moraux. Nous avons étudié ce système de manière mécaniste, en tant que neuroscientifiques pourrait-on dire. Poussant cette analogie plus loin, parce que notre modèle fonctionne sur un ordinateur, nous avons pu enregistrer chaque neurone et chaque connexion de son réseau de neurones, ce qui serait impensable lors de l’étude des cerveaux biologiques des animaux ou des humains. L’étude de ces systèmes au niveau des neurones individuels n’est actuellement réalisable que lors de l’étude de phénomènes très spécifiques sur des architectures relativement petites.

Pouvez-vous fournir plus d’informations sur le système que vous avez utilisé dans votre article ?

Le transformateur que nous avons utilisé dans notre étude est à peu près identique à l’architecture de transformateur couramment utilisée. Plutôt que de former notre système sur tous les textes sur Internet, nous l’avons formé sur des exemples d’un problème simple connu sous le nom de régression linéaire. Parce que ce problème et sa solution sont si bien compris, nous avons pu comparer la solution connue avec ce que nous avons observé à l’intérieur du transformateur. Nous avons confirmé qu’il implémente en lui-même un algorithme d’apprentissage très connu et puissant appelé descente de gradient.

Vous attendriez-vous à l’émergence d’autres comportements entièrement nouveaux pour l’informatique ?

C’est possible. Dans notre cas, nous avons pu montrer que le transformateur n’effectuait pas simplement une simple descente de gradient mais une version améliorée de celui-ci. Deux études indépendantes du MIT et de l’UC Berkeley ont maintenant analysé l’algorithme appris par le transformateur. Un objectif à long terme de cette ligne de recherche pourrait être de déterminer si les transformateurs peuvent découvrir des algorithmes ou même prouver des théorèmes et développer des mathématiques avec lesquelles nous ne sommes pas encore familiers. Ce serait vraiment remarquable et révolutionnaire.