Les grands modèles linguistiques formés en anglais utilisent cette langue en interne, même pour les invites dans d'autres langues.

Les capacités émergentes dans les grands modèles linguistiques sont-elles simplement un apprentissage en contexte ?

Selon une nouvelle étude menée par l'Université technique de Darmstadt, les modèles d'IA tels que ChatGPT sont apparemment moins capables d'apprendre de manière indépendante qu'on ne le pensait auparavant.

Selon l’étude, il n’existe aucune preuve que ce que l’on appelle les grands modèles linguistiques (LLM) commencent à développer un comportement « intelligent » général qui leur permettrait de procéder de manière planifiée ou intuitive ou de penser de manière complexe.

L'étude, qui a été publiée sur le arXiv Le serveur de préimpression sera présenté en août lors de la conférence annuelle de l'Association for Computational Linguistics (ACL) à Bangkok, la plus grande conférence internationale sur le traitement automatique des langues.

La recherche se concentre sur les sauts imprévus et soudains dans les performances des modèles linguistiques, appelés « capacités émergentes ». Après l'introduction des modèles, les scientifiques ont constaté qu'ils devenaient plus puissants à mesure que leur taille augmentait et que la quantité de données avec lesquelles ils étaient entraînés augmentait (mise à l'échelle).

À mesure que les outils ont été développés, ils ont pu résoudre un plus grand nombre de tâches linguistiques, par exemple reconnaître de fausses nouvelles ou tirer des conclusions logiques.

D’un côté, cela a fait naître l’espoir que de nouvelles extensions permettraient d’améliorer encore les modèles. D’un autre côté, on craignait que ces capacités ne deviennent dangereuses, car les LLM pourraient devenir indépendants et éventuellement échapper au contrôle humain. En réponse, des lois sur l’IA ont été introduites dans le monde entier, notamment dans l’Union européenne et aux États-Unis.

Les auteurs de l’étude actuelle sont toutefois arrivés à la conclusion qu’il n’existe aucune preuve du développement présumé d’une pensée différenciée dans les modèles. Au lieu de cela, les LLM ont acquis la compétence superficielle de suivre des instructions relativement simples, comme l’ont montré les chercheurs. Les systèmes sont encore loin de ce dont les humains sont capables.

L'étude a été dirigée par Iryna Gurevych, professeur d'informatique à l'Université de Technologie de TU, et son collègue, le Dr Harish Tayyar Madabushi, de l'Université de Bath au Royaume-Uni.

« Cependant, nos résultats ne signifient pas que l’IA ne constitue pas une menace du tout », a déclaré Gurevych.

« Nous montrons plutôt que l’émergence supposée de compétences de réflexion complexes associées à des menaces spécifiques n’est pas étayée par des preuves et que nous pouvons très bien contrôler le processus d’apprentissage des LLM après tout. Les recherches futures devraient donc se concentrer sur d’autres risques posés par les modèles, comme leur potentiel à être utilisés pour générer de fausses nouvelles. »

Et que signifient ces résultats pour les utilisateurs de systèmes d’IA comme ChatGPT ? « C’est probablement une erreur de se fier à un modèle d’IA pour interpréter et exécuter des tâches complexes sans aide », explique Gurevych, qui dirige le laboratoire Ubiquitous Knowledge Processing (UKP) du département d’informatique de l’Université technique de Darmstadt.

« Les utilisateurs devraient plutôt indiquer explicitement ce que les systèmes doivent faire et, si possible, donner des exemples. L’important est que la tendance de ces modèles à produire des résultats plausibles mais faux – connue sous le nom de confabulation – risque de persister, même si la qualité des modèles s’est considérablement améliorée ces derniers temps. »