Des expériences révèlent que les étudiants en LLM développent leur propre compréhension de la réalité à mesure que leurs compétences linguistiques s'améliorent

Demandez à un grand modèle de langage (LLM) comme GPT-4 de sentir un camping trempé par la pluie, et il déclinera poliment. Demandez au même système de vous décrire cette odeur, et il vous dira poétiquement « un air chargé d’anticipation » et « une odeur à la fois fraîche et terreuse », bien qu’il n’ait aucune expérience préalable de la pluie ni de nez pour l’aider à faire de telles observations. Une explication possible de ce phénomène est que le LLM imite simplement le texte présent dans ses vastes données d’entraînement, plutôt que de travailler avec une véritable compréhension de la pluie ou de l’odeur.

Mais l’absence d’yeux signifie-t-elle que les modèles linguistiques ne peuvent jamais « comprendre » qu’un lion est « plus grand » qu’un chat domestique ? Les philosophes et les scientifiques considèrent depuis longtemps que la capacité à attribuer un sens au langage est une caractéristique de l’intelligence humaine et se demandent quels ingrédients essentiels nous permettent de le faire.

En examinant cette énigme, des chercheurs du Laboratoire d'informatique et d'intelligence artificielle (CSAIL) du MIT ont découvert des résultats intrigants suggérant que les modèles linguistiques peuvent développer leur propre compréhension de la réalité afin d'améliorer leurs capacités génératrices.

L'équipe a d'abord développé un ensemble de petits casse-têtes Karel, qui consistaient à trouver des instructions pour contrôler un robot dans un environnement simulé. Ils ont ensuite formé un LLM sur les solutions, mais sans démontrer comment les solutions fonctionnaient réellement. Enfin, en utilisant une technique d'apprentissage automatique appelée « sondage », ils ont examiné le « processus de réflexion » du modèle pendant qu'il générait de nouvelles solutions.

Après avoir été formés sur plus d’un million de puzzles aléatoires, ils ont découvert que le modèle développait spontanément sa propre conception de la simulation sous-jacente, bien qu’il n’ait jamais été exposé à cette réalité pendant l’entraînement. De telles découvertes remettent en question nos intuitions sur les types d’informations nécessaires à l’apprentissage du sens linguistique – et sur la possibilité que les LLM puissent un jour comprendre la langue à un niveau plus profond qu’aujourd’hui.

« Au début de ces expériences, le modèle de langage générait des instructions aléatoires qui ne fonctionnaient pas. Une fois la formation terminée, notre modèle de langage générait des instructions correctes à un taux de 92,4 pour cent », explique Charles Jin, étudiant au doctorat en génie électrique et informatique du MIT (EECS) et affilié au CSAIL, qui est l'auteur principal d'un nouvel article sur ces travaux.

« Ce fut un moment très excitant pour nous, car nous pensions que si votre modèle linguistique pouvait accomplir une tâche avec ce niveau de précision, nous pouvions nous attendre à ce qu'il comprenne également le sens de la langue. Cela nous a donné un point de départ pour déterminer si les LLM comprennent effectivement le texte, et nous voyons maintenant qu'ils sont capables de bien plus que de simplement assembler des mots à l'aveugle. »

L'article est publié sur le arXiv serveur de préimpression.

Dans la tête d'un LLM

La sonde a permis à Jin de constater de visu ces progrès. Son rôle était d'interpréter ce que le LLM pensait que les instructions signifiaient, révélant que le LLM développait sa propre simulation interne de la façon dont le robot se déplace en réponse à chaque instruction. À mesure que la capacité du modèle à résoudre des énigmes s'améliorait, ces conceptions devenaient également plus précises, indiquant que le LLM commençait à comprendre les instructions. En peu de temps, le modèle assemblait systématiquement les pièces correctement pour former des instructions fonctionnelles.

Jin note que la compréhension du langage par le LLM se développe par phases, un peu comme un enfant apprend à parler en plusieurs étapes. Au début, c'est comme un bébé qui babille : c'est répétitif et la plupart du temps inintelligible. Ensuite, le modèle linguistique acquiert la syntaxe, ou les règles de la langue. Cela lui permet de générer des instructions qui peuvent ressembler à de véritables solutions, mais qui ne fonctionnent toujours pas.

Les instructions du LLM s'améliorent cependant progressivement. Une fois que le modèle acquiert un sens, il commence à produire des instructions qui mettent en œuvre correctement les spécifications demandées, comme un enfant formant des phrases cohérentes.

Séparer la méthode du modèle : un « monde bizarre »

La sonde n'était destinée qu'à « pénétrer dans le cerveau d'un LLM », comme le décrit Jin, mais il y avait une faible possibilité qu'elle réfléchisse également à la place du modèle. Les chercheurs voulaient s'assurer que leur modèle comprenait les instructions indépendamment de la sonde, au lieu que la sonde déduise les mouvements du robot de la compréhension de la syntaxe par le LLM.

« Imaginez que vous disposez d'une pile de données qui encode le processus de réflexion du LM », suggère Jin. « La sonde est comme un analyste judiciaire : vous lui remettez cette pile de données et vous lui dites : « Voici comment le robot se déplace, essayez maintenant de trouver les mouvements du robot dans la pile de données. » L'analyste vous dit plus tard qu'il sait ce qui se passe avec le robot dans la pile de données. Mais que se passe-t-il si la pile de données ne code en fait que les instructions brutes et que l'analyste a trouvé un moyen astucieux d'extraire les instructions et de les suivre en conséquence ? Dans ce cas, le modèle de langage n'a pas vraiment appris ce que signifient les instructions. »

Pour démêler les rôles, les chercheurs ont inversé le sens des instructions d'une nouvelle sonde. Dans ce « monde bizarre », comme l'appelle Jin, des instructions comme « haut » signifiaient désormais « bas » dans les instructions qui déplaçaient le robot sur sa grille.

« Si la sonde traduit les instructions en positions de robot, elle devrait être capable de traduire les instructions en fonction des significations bizarres tout aussi bien », explique Jin. « Mais si la sonde trouve effectivement des codages des mouvements originaux du robot dans le processus de pensée du modèle de langage, alors elle devrait avoir du mal à extraire les mouvements bizarres du robot du processus de pensée original. »

Il s'est avéré que la nouvelle sonde a rencontré des erreurs de traduction, incapable d'interpréter un modèle de langage dont les instructions avaient une signification différente. Cela signifie que la sémantique d'origine était intégrée au modèle de langage, ce qui indique que le LLM comprenait quelles instructions étaient nécessaires indépendamment du classificateur de sondage d'origine.

« Cette recherche cible directement une question centrale de l'intelligence artificielle moderne : les capacités surprenantes des grands modèles linguistiques sont-elles simplement dues à des corrélations statistiques à grande échelle, ou les grands modèles linguistiques développent-ils une compréhension significative de la réalité avec laquelle ils sont amenés à travailler ? Cette recherche indique que le LLM développe un modèle interne de la réalité simulée, même s'il n'a jamais été formé pour développer ce modèle », explique Martin Rinard, professeur au MIT à l'EECS, membre du CSAIL et auteur principal de l'article.

Cette expérience a confirmé l'hypothèse de l'équipe selon laquelle les modèles de langage peuvent développer une compréhension plus approfondie du langage. Cependant, Jin reconnaît quelques limites à leur article : ils ont utilisé un langage de programmation très simple et un modèle relativement petit pour recueillir leurs idées. Dans un prochain travail, ils chercheront à utiliser un cadre plus général. Bien que les dernières recherches de Jin n'expliquent pas comment faire en sorte que le modèle de langage apprenne le sens plus rapidement, il pense que les travaux futurs pourront s'appuyer sur ces connaissances pour améliorer la façon dont les modèles de langage sont formés.

« Une question ouverte et intrigante est de savoir si le LLM utilise réellement son modèle interne de la réalité pour raisonner sur cette réalité lorsqu'il résout le problème de navigation du robot », explique Rinard. « Bien que nos résultats soient cohérents avec le fait que le LLM utilise le modèle de cette manière, nos expériences ne sont pas conçues pour répondre à cette question suivante. »

« Il y a beaucoup de débats ces jours-ci pour savoir si les LLM permettent réellement de « comprendre » la langue, ou plutôt si leur succès peut être attribué à ce qui est essentiellement des astuces et des heuristiques qui découlent de l'absorption de gros volumes de texte », explique Ellie Pavlick, professeure adjointe d'informatique et de linguistique à l'université Brown, qui n'a pas participé à l'étude.

« Ces questions sont au cœur de la façon dont nous construisons l’IA et de ce que nous pensons être les possibilités ou les limites inhérentes à notre technologie. Il s’agit d’un article intéressant qui examine cette question de manière contrôlée : les auteurs exploitent le fait que le code informatique, comme le langage naturel, possède à la fois une syntaxe et une sémantique, mais contrairement au langage naturel, la sémantique peut être directement observée et manipulée à des fins expérimentales. La conception expérimentale est élégante et leurs conclusions sont optimistes, suggérant que les LLM peuvent peut-être apprendre quelque chose de plus profond sur ce que « signifie » le langage. »