Les humains et les LLM représentent les phrases de la même manière, selon une étude

Les psychologues et les spécialistes du comportement tentent depuis des décennies de comprendre comment les gens représentent, encodent et traitent mentalement les lettres, les mots et les phrases. L'introduction de grands modèles linguistiques (LLM) tels que ChatGPT a ouvert de nouvelles possibilités de recherche dans ce domaine, car ces modèles sont spécifiquement conçus pour traiter et générer des textes dans différentes langues humaines.

Un nombre croissant d’études en sciences du comportement et en psychologie ont ainsi commencé à comparer les performances des humains à celles des LLM sur des tâches spécifiques, dans l’espoir d’apporter un nouvel éclairage sur les processus cognitifs impliqués dans l’encodage et le décodage du langage. Cependant, comme les humains et les LLM sont intrinsèquement différents, concevoir des tâches qui sondent de manière réaliste la manière dont les deux représentent le langage peut être un défi.

Des chercheurs de l'Université du Zhejiang ont récemment conçu une nouvelle tâche pour étudier la représentation des phrases et y ont testé à la fois des LLM et des humains. Leurs résultats, publiés dans Comportement humainmontrent que lorsqu'on leur demande de raccourcir une phrase, les humains et les LLM ont tendance à supprimer les mêmes mots, faisant allusion à des points communs dans leur représentation des phrases.

« Comprendre comment les phrases sont représentées dans le cerveau humain, ainsi que dans les grands modèles linguistiques (LLM), pose un défi de taille pour les sciences cognitives », ont écrit Wei Liu, Ming Xiang et Nai Ding dans leur article. « Nous développons une tâche d'apprentissage ponctuelle pour déterminer si les humains et les LLM codent des constituants arborescents dans des phrases. »

Dans le cadre de leur étude, les chercheurs ont mené une série d'expériences impliquant 372 participants humains, de langue maternelle chinoise, de langue maternelle anglaise ou bilingues (c'est-à-dire parlant à la fois anglais et chinois). Ces participants ont effectué une tâche linguistique qui a ensuite également été complétée par ChatGPT.

La tâche demandait aux participants de supprimer une chaîne de mots d’une phrase. Au cours de chaque essai expérimental, les humains et ChatGPT ont vu une seule démonstration, puis ont dû déduire la règle qu'ils devaient suivre lors de la suppression de mots et l'appliquer à la phrase test.

« Il a été demandé aux participants et aux LLM de déduire quels mots devaient être supprimés d'une phrase », ont expliqué Liu, Xiang et Ding. « Les deux groupes ont tendance à supprimer les constituants, au lieu des chaînes de mots non constituants, en suivant des règles spécifiques au chinois et à l'anglais, respectivement. »

Il est intéressant de noter que les résultats des chercheurs suggèrent que les représentations internes des phrases des LLM sont alignées sur la théorie linguistique. Dans la tâche qu'ils ont conçue, les humains et ChatGPT avaient tendance à supprimer des constituants complets (c'est-à-dire des unités grammaticales cohérentes) par opposition aux séquences de mots aléatoires. De plus, les chaînes de mots supprimées semblaient varier en fonction de la langue dans laquelle ils accomplissaient la tâche (c'est-à-dire le chinois ou l'anglais), en suivant des règles spécifiques à la langue.

« Les résultats ne peuvent pas être expliqués par des modèles qui s'appuient uniquement sur les propriétés et la position des mots », ont écrit les auteurs. « Essentiellement, sur la base des chaînes de mots supprimées par des humains ou des LLM, la structure arborescente sous-jacente peut être reconstruite avec succès. »

Dans l'ensemble, les résultats de l'équipe suggèrent que lors du traitement du langage, les humains et les LLM sont guidés par des représentations syntaxiques latentes, en particulier des représentations de phrases structurées en arbre. Des études futures pourraient s'appuyer sur ces travaux récents pour étudier plus en détail les modèles de représentation linguistique des LLM et des humains, soit en utilisant des versions adaptées de la tâche de suppression de mots de l'équipe, soit en utilisant des paradigmes entièrement nouveaux.