Est-ce que l'IA comprend?

Imaginez une fourmi rampant dans du sable, traçant un chemin qui ressemble à Winston Churchill. Diriez-vous que la fourmi a créé une image de l'ancien Premier ministre britannique? Selon le regretté philosophe de Harvard, Hilary Putnam, la plupart des gens diraient non: la fourmi devrait connaître Churchill, les lignes et le sable.

L'expérience de pensée a renouvelé la pertinence à l'ère de l'IA générative. Alors que les sociétés d'intelligence artificielle publient des modèles de plus en plus avancés qui raisonnent, recherchent, créent et analysent, les significations derrière ces verbes deviennent rapidement glissantes. Que signifie vraiment penser, comprendre, savoir? La réponse a de grandes implications sur la façon dont nous utilisons l'IA, et pourtant ceux qui étudient l'intelligence comptent toujours avec.

« Quand nous voyons des choses qui parlent comme des humains, qui peuvent faire beaucoup de tâches comme les humains, écrire des preuves et des rimes, il est très naturel pour nous de penser que la seule façon dont la chose pourrait faire ces choses est qu'il a un modèle mental du monde, de la même manière que les humains », a déclaré Keyon Vafa, un boursier postdoctoral de la Harvard Data Science Initiative. « Nous, en tant que champ, faisons des étapes en essayant de comprendre, qu'est-ce que cela signifierait même que quelque chose comprenne? Il n'y a certainement pas de consensus. »

Dans la cognition humaine, l'expression d'une pensée implique la compréhension de celle-ci, a déclaré le maître de conférences sur la philosophie Cheryl Chen. Nous supposons que quelqu'un qui dit « qu'il pleut » connaît le temps, a ressenti la sensation de pluie sur la peau et peut-être la frustration d'oublier d'emballer un parapluie. « Pour une véritable compréhension », a déclaré Chen, « vous devez être en quelque sorte ancré dans le monde d'une manière que le chat de chatte n'est pas. »

Pourtant, les systèmes d'intelligence artificielle d'aujourd'hui peuvent sembler terriblement convaincants. Les grands modèles de langage et d'autres types d'apprentissage automatique sont faits de réseaux de neurones – des modèles complémentaires qui transmettent des informations par des couches de neurones modélisés de manière lâche après le cerveau humain.

« Les réseaux de neurones ont des chiffres en eux; nous les appelons des poids », a déclaré Stratos Idreos, professeur d'informatique de Gordon McKay à Seas. « Ces chiffres commencent par défaut au hasard. Nous obtenons des données via le système, et nous effectuons des opérations mathématiques en fonction de ces poids, et nous obtenons un résultat. »

Il a donné l'exemple d'une IA formée pour identifier les tumeurs dans les images médicales. Vous nourrissez le modèle des centaines d'images que vous connaissez contiennent des tumeurs et des centaines d'images qui ne le font pas. Sur la base de ces informations, le modèle peut-il déterminer correctement si une nouvelle image contient une tumeur? Si le résultat est faux, vous donnez plus de données au système et vous bridez les poids, et lentement le système converge sur la bonne sortie. Cela pourrait même identifier les tumeurs que les médecins manqueraient.

VAFA consacre une grande partie de ses recherches à mettre l'IA à l'épreuve, à déterminer à la fois ce que les modèles comprennent réellement et comment nous le saurions même avec certitude. Ses critères se résument à savoir si le modèle peut démontrer de manière fiable un modèle mondial, un cadre stable mais flexible qui lui permet de généraliser et de raisonner même dans des conditions inconnues.

Parfois, a dit Vafa, il semble que ce soit un oui.

« Si vous regardez des modèles de langue importants et que vous leur posez des questions qu'ils n'avaient probablement pas vu auparavant – comme: » Si je voulais équilibrer un marbre au-dessus d'une balle de plage gonflable sur un poêle sur l'herbe, dans quelle commande devrais-je les mettre? « – Le LLM répondrait correctement, même si cette question spécifique n'était pas dans ses données de formation », a-t-il dit. Cela suggère que le modèle a un modèle mondial efficace – dans ce cas, les lois de la physique.

Mais Vafa soutient que les modèles mondiaux s'effondrent souvent dans une inspection plus approfondie. Dans une étude précédente, lui et une équipe de collègues ont formé un modèle d'IA sur les instructions de la rue autour de Manhattan, puis lui ont demandé des itinéraires entre différents points. Quatre-vingt-dix-neuf pour cent du temps, le modèle crachait des directions précises. Mais quand ils ont essayé de construire une carte cohésive de Manhattan à partir de ses données, ils ont découvert que le modèle avait inventé des routes, sauté à travers Central Park et voyagé en diagonale à travers le célèbre grille de la ville.

« Quand je tourne à droite, on me donne une carte de Manhattan, et quand je tourne à gauche, on me donne une carte complètement différente de Manhattan », a-t-il déclaré. « Ces deux cartes devraient être cohérentes, mais l'IA reconstruit essentiellement la carte chaque fois que vous prenez un tour. Il n'avait tout simplement aucune sorte de conception de Manhattan. »

Plutôt que d'opérer à partir d'une compréhension stable de la réalité, soutient-il, l'IA mémorise d'innombrables règles et les applique au mieux de sa capacité, une sorte d'approche slapdash qui semble intentionnelle la plupart du temps mais révèle parfois son incohérence fondamentale.

Sam Altman, le PDG d'Openai, a déclaré que nous atteindrons AGI – intelligence générale artificielle, qui peut faire n'importe quelle tâche cognitive qu'une personne peut – « relativement bientôt ». Vafa garde son œil sur des preuves plus insaisissables: que l'AIS démontre de manière fiable des modèles mondiaux cohérents – en d'autres termes, qu'ils comprennent.

« Je pense que l'un des plus grands défis de se rendre à AGI est qu'il n'est pas clair comment le définir », a déclaré Vafa. « C'est pourquoi il est important de trouver des moyens de mesurer à quel point les systèmes d'IA peuvent » comprendre « ou s'ils ont de bons modèles mondiaux – il est difficile d'imaginer une notion d'AGI qui n'implique pas un bon modèle mondial. Les modèles mondiaux des LLM actuels manquent, mais une fois que nous savons comment mesurer leur qualité, nous pouvons progresser vers leur amélioration. »

L'équipe d'Idreos au Data Systems Laboratory développe des approches plus efficaces afin que l'IA puisse traiter plus de données et raisonner plus rigoureusement. Il voit un avenir où des modèles spécialisés et sur mesure résolvent des problèmes importants, tels que l'identification des remèdes pour les maladies rares, même si les modèles ne savent pas ce qu'est la maladie. Que cela compte ou non comme une compréhension, a déclaré Idreos, cela compte certainement comme utile.