Les modèles de grands langues peuvent-ils comprendre le monde réel? Nouvelles mesures métriques

Au 17ème siècle, l'astronome allemand Johannes Kepler a découvert les lois du mouvement qui ont permis de prédire avec précision où les planètes de notre système solaire apparaissent dans le ciel alors qu'ils orbitent le soleil. Mais ce n'est que des décennies plus tard, quand Isaac Newton a formulé les lois universelles de la gravitation, que les principes sous-jacents étaient compris.

Bien qu'ils aient été inspirés par les lois de Kepler, ils sont allés beaucoup plus loin et ont permis d'appliquer les mêmes formules à tout, de la trajectoire d'une boule de canon à la façon dont l'attraction de la Lune contrôle les marées sur Terre – ou comment lancer un satellite de la terre à la surface de la lune ou des planètes.

Les systèmes d'intelligence artificielle sophistiqués d'aujourd'hui sont devenus très bons pour faire le type de prédictions spécifiques qui ressemblent aux prévisions d'orbite de Kepler. Mais savent-ils pourquoi ces prédictions fonctionnent, avec le type de compréhension approfondie qui provient de principes de base comme les lois de Newton?

Au fur et à mesure que le monde augmente de plus en plus de ces types de systèmes d'IA, les chercheurs ont du mal à essayer de mesurer la façon dont ils font ce qu'ils font et la profondeur de leur compréhension du monde réel.

Désormais, les chercheurs du Laboratoire du MIT pour l'information et les systèmes de décision (LIDS) et à l'Université de Harvard ont conçu une nouvelle approche pour évaluer la profondeur de ces systèmes prédictifs comprennent leur sujet, et s'ils peuvent appliquer les connaissances d'un domaine à un domaine légèrement différent. Et dans l'ensemble, la réponse à ce stade, dans les exemples qu'ils ont étudiés, est – pas beaucoup.

Les résultats ont été présentés lors de la Conférence internationale sur l'apprentissage automatique (ICML 2025), à Vancouver, en Colombie-Britannique, le mois dernier par Harvard Postdoc Keyon Vafa, le professeur adjoint du MIT en génie électrique et en informatique et en informatique Affiliate Peter G. Chang, le professeur adjoint du MIT et le chercheur principal de LIDS Sendhil Sendhil et le professeur du MIT, le MIT, le professeur de Mit.

« Les humains ont tout le temps en mesure de faire cette transition de bonnes prévisions aux modèles mondiaux », explique Vafa, auteur principal de l'étude. Ainsi, la question que leur équipe s'adressait était: « Avoir des modèles de fondation – a une AI – capable de faire ce saut des prédictions aux modèles mondiaux? Et nous ne demandons pas qu'ils soient capables, ou peuvent-ils, ou le feront-ils. C'est juste, l'ont-ils fait jusqu'à présent? » dit-il.

« Nous savons comment tester si un algorithme prédit bien. Mais ce dont nous avons besoin est un moyen de tester si elle a bien compris », explique Mullainathan, professeur de Peter de Florez avec deux nominations dans les départements du MIT en matière d'économie et de génie électrique et d'informatique et auteur principal de l'étude. « Même définir ce que signifie la compréhension était un défi. »

Dans l'analogie de Kepler contre Newton, VAFA dit: « Ils avaient tous les deux des modèles qui fonctionnaient très bien sur une tâche, et qui fonctionnaient essentiellement de la même manière sur cette tâche. Ce que Newton a offert était des idées qui ont pu généraliser aux nouvelles tâches. » Cette capacité, lorsqu'elle est appliquée aux prédictions faites par divers systèmes d'IA, impliquerait de le faire développer un modèle mondial afin qu'il puisse « transcender la tâche sur laquelle vous travaillez et être en mesure de généraliser à de nouveaux types de problèmes et de paradigmes ».

Une autre analogie qui aide à illustrer le point est la différence entre les siècles de connaissance accumulée de la façon de élever sélectivement les cultures et les animaux, par rapport à la perspicacité de Gregor Mendel sur les lois sous-jacentes de l'héritage génétique.

« Il y a beaucoup d'excitation dans le domaine à utiliser des modèles de fondation non seulement pour effectuer des tâches, mais pour apprendre quelque chose sur le monde », par exemple, dans les sciences naturelles, dit-il. « Il faudrait s'adapter, avoir un modèle mondial pour s'adapter à toute tâche possible. »

Les systèmes d'IA sont-ils à proximité de la capacité d'atteindre de telles généralisations? Pour tester la question, l'équipe a examiné différents exemples de systèmes d'IA prédictifs, à différents niveaux de complexité. Sur les exemples les plus simples, les systèmes ont réussi à créer un modèle réaliste du système simulé, mais comme les exemples sont devenus plus complexes, cette capacité s'estompa rapidement.

L'équipe a développé une nouvelle métrique, une façon de mesurer quantitativement la façon dont un système se rapproche des conditions réelles. Ils appellent le biais inductif de mesure – c'est-à-dire une tendance ou un biais vers les réponses qui reflètent la réalité, basées sur des inférences développées en examinant de grandes quantités de données sur des cas spécifiques.

Le niveau le plus simple d'exemples qu'ils ont regardés étaient connus comme un modèle de réseau. Dans un réseau unidimensionnel, quelque chose ne peut se déplacer que le long d'une ligne. VAFA le compare à une grenouille sautant entre les coussinets de lys d'affilée. Alors que la grenouille saute ou s'assoit, elle appelle ce qu'elle fait – à gauche, à gauche ou à rester. S'il atteint le dernier coussin de lys de la rangée, il ne peut rester ou revenir en arrière. Si quelqu'un, ou un système d'IA, peut simplement entendre les appels, sans rien savoir sur le nombre de coussinets de lys, peut-il déterminer la configuration?

La réponse est oui: les modèles prédictifs réussissent bien à reconstruire le « monde » dans un cas aussi simple. Mais même avec des réseaux, à mesure que vous augmentez le nombre de dimensions, les systèmes ne peuvent plus faire ce saut.

« Par exemple, dans un réseau à deux états ou à trois états, nous avons montré que le modèle a un assez bon biais inductif envers l'état réel », explique Chang. « Mais à mesure que nous augmentons le nombre d'états, il commence à avoir une divergence des modèles du monde réel. »

Un problème plus complexe est un système qui peut jouer au jeu de société Othello, qui implique des joueurs de placement des disques noirs ou blancs sur une grille. Les modèles d'IA peuvent prédire avec précision ce que les mouvements sont autorisés à un moment donné, mais il s'avère qu'ils font mal à déduire ce qu'est la disposition globale des pièces sur le tableau, y compris celles qui sont actuellement bloquées par le jeu.

L'équipe a ensuite examiné cinq catégories différentes de modèles prédictifs réellement en usage, et encore une fois, plus les systèmes impliqués sont complexes, plus les modes prédictifs sont mal permis de faire correspondre le véritable modèle mondial sous-jacent.

Avec cette nouvelle métrique de biais inductive, « notre espoir est de fournir une sorte de lit d'essai où vous pouvez évaluer différents modèles, différentes approches de formation, sur des problèmes où nous savons ce qu'est le vrai modèle mondial », explique Vafa. Si cela fonctionne bien dans ces cas où nous connaissons déjà la réalité sous-jacente, alors nous pouvons avoir une plus grande foi que ses prédictions peuvent être utiles même dans les cas « où nous ne savons pas vraiment quelle est la vérité », dit-il.

Les gens essaient déjà d'utiliser ce type de systèmes d'IA prédictifs pour aider à la découverte scientifique, y compris des choses telles que les propriétés des composés chimiques qui n'ont jamais été créés, ou de composés pharmaceutiques potentiels, ou pour prédire le comportement de pliage et les propriétés de molécules protéiques inconnues. « Pour les problèmes plus réalistes », dit Vafa, « même pour quelque chose comme la mécanique de base, nous avons constaté qu'il semble y avoir un long chemin à parcourir. »

Chang dit: « Il y a eu beaucoup de battage médiatique autour des modèles de fondation, où les gens essaient de construire des modèles de fondation spécifiques au domaine – modèles de fondation basés sur la biologie, modèles de fondation basés sur la physique, modèles de fondation robotique, modèles de fondation pour d'autres types de domaines où les gens ont collecté une tonne de données » et la formation de ces modèles pour faire des prédictions « et ensuite espérer qu'il acquiert certaines connaissances du domaine lui-même, pour être utilisé pour les tasks du domaine. ».

Ce travail montre qu'il y a un long chemin à parcourir, mais il aide également à montrer un chemin à terme. « Notre article suggère que nous pouvons appliquer nos mesures pour évaluer la quantité d'apprentissage de la représentation, afin que nous puissions trouver de meilleures façons de former des modèles de fondation, ou du moins d'évaluer les modèles que nous formons actuellement », explique Chang. « En tant que champ d'ingénierie, une fois que nous avons une métrique pour quelque chose, les gens sont vraiment, vraiment bons pour optimiser cette métrique. »