Pour la première fois, l’IA atteint et dépasse un aspect crucial de l’intelligence humaine

Il semble normal à quiconque d’apprendre le sens d’un mot et de l’appliquer ensuite à d’autres contextes linguistiques. La même chose se produit, par exemple, avec les objets : une fois que nous reconnaissons leur forme, nous pouvons reconnaître cet objet même s’il est composé d’autres composés et matériaux ou s’il a une couleur différente. C’est un ingrédient bien connu de notre intelligence que les experts appellent « généralisation compositionnelle« .

La question est de savoir si les machines pourraient « penser » de cette manière. Comme le souligne l’Université de New York, à la fin des années 1980, deux spécialistes des sciences cognitives, Jerry Fodor et Zenon Pylyshyn, ont postulé que les réseaux neuronaux artificiels étaient capables d’établir ces connexions, mais depuis lors, le succès dans ce domaine est resté incertain. Ou l’avait été.

Des chercheurs de cette institution et de l’Université Pompeu Fabra en Espagne travaillent dans ce domaine depuis un certain temps et ont développé une nouvelle technique qui cible précisément cette capacité. L’étude, publiée dans Nature, révèle comment des outils comme ChatGPT peuvent faire ces généralisations compositionnelles à travers ce que l’on appelle « Méta-apprentissage pour la compositionnalité« (MLC).

Selon des tests effectués par des chercheurs, cette technique est capable non seulement d’égaler, mais même de dépasser les capacités humaines dans cette fonction cognitive importante. La clé de la technique MLC n’a pas été la formation, mais plutôt la pratique explicite de ces capacités.

La technique MLC est une procédure d’apprentissage des réseaux de neurones dans laquelle ces systèmes sont continuellement mis à jour pour améliorer leurs capacités au cours d’une série d’étapes ou d’épisodes.

Ainsi, dans un épisode, le système MLC reçoit un nouveau mot et il vous est demandé de l’appliquer de manière compositionnelle. Par exemple, ils vous donnent le mot « sauter » et vous demandent de créer de nouvelles combinaisons de mots, telles que « sauter deux fois » ou « sauter deux fois à droite ». À partir de là, un autre épisode est généré avec un autre nouveau mot, de sorte que les compétences en composition augmentent.

Dans les tests menés par Brenden Lake (NYU) et Marco Baroni (ICREA), ces deux chercheurs ont mené une série de tests avec des participants humains recevant les mêmes « épisodes » que ceux reçus par le MLC. Ils ont non seulement travaillé avec le sens de mots réels, mais aussi avec des termes inventés et définis par les chercheurs.

Dans ces tests, MLC a effectué ainsi que des participants humains et parfois il faisait encore mieux. Les performances de ce système ont également été comparées à celles de ChatGPT et GPT-4, et tous deux ont été surpassées par le système développé par ces chercheurs. La découverte de cette technique, explique Baroni, « peut encore améliorer les capacités de composition des grands modèles de langage (LLM). »