Psycholinguiste parle non-sens de chatppt pour comprendre comment il traite la langue
Une nouvelle étude apparaissant dans Plos un Par un psycholinguiste de l'Université du Kansas explore comment Chatgpt, le chatbot populaire d'intelligence artificielle, a répondu aux non-mots.
Les non-mots sont des lettres et des sons dénués de sens utilisés en psychologie cognitive pour explorer comment les humains apprennent, se souviennent et traitent le langage.
L'auteur Michael Vitevitch, professeur dans le département de tolérance de la parole de KU, voulait savoir comment la « boîte noire » de Chatgpt pourrait réagir à des invites expérimentales similaires.
« En tant que psycholinguiste, l'une des choses que j'ai faites dans le passé est de donner aux gens un non-sens pour voir comment ils y réagissent – qui est spécialement conçu pour comprendre ce qu'ils savent », a-t-il déclaré. « J'ai essayé d'utiliser des méthodes que nous utilisons avec les gens pour apprécier comment ils font ce qu'ils font – et faire la même chose avec l'IA pour voir comment cela fait ce qu'il fait. »
En nourrissant des bêtises à Chatgpt, Vitevitch a trouvé que c'était assez bon pour découvrir des relations entre les choses.
« Il trouve des modèles, mais pas nécessairement les mêmes modèles qu'un humain utiliserait pour faire la même tâche », a-t-il déclaré. « Nous faisons les choses très différemment de la façon dont l'IA fait les choses. C'est un point important. Il est normal que nous fassions les choses différemment. Et les choses avec lesquelles nous avons besoin d'aide, c'est là que nous devons concevoir l'IA pour nous donner un filet de sécurité – pour nous aider sur ces choses. »
Dans une partie de l'étude, Chatgpt a montré qu'il pouvait fournir des définitions correctes pour de nombreux mots anglais réels qui ne sont plus utilisés. Un exemple est «Up-Knocking», une occupation des années 1800 qui impliquait des gens de réveil, désormais obsolètes par les réveils.
Comme ces mots ne font plus partie de l'anglais, les chercheurs les considèrent comme des «non-mots».
Les résultats illustrent le fonctionnement interne du chatbot. Sur 52 mots éteints soigneusement choisis, Chatgpt a répondu avec 36 définitions correctes. Pour 11 mots, Chatgpt a répondu qu'il ne pouvait pas reconnaître le mot. Pour trois mots, le chatbot a donné des définitions glanées à partir de mots dans les langues étrangères.
Pour deux mots, Chatgpt semble avoir inventé des réponses, donnant des « hallucinations » en réponse aux demandes de définition des mots.
« Il a hallucine sur deux choses », a déclaré Vitevitch. « Nous lui avons demandé de définir ces mots éteints. Il y a bien eu un bon nombre. Sur un autre groupe, il a dit: » Oui, je ne sais pas ce que c'est. C'est un mot étrange ou un mot très rare qui n'est plus utilisé. » Mais ensuite, sur un couple, ça a fait des trucs.
Dans une autre partie de l'expérience, Chatgpt a reçu un ensemble de mots espagnols et a demandé de fournir des mots à consonance similaire de l'anglais. La tâche ressemble beaucoup à la «tâche d'associé phonologique» utilisée aux anglophones pour évaluer les aspects de la similitude phonologique.
Vitevitch a déclaré que l'expérience a mis en évidence la différence dans la façon dont les humains et l'IA traitent le langage.
« Si je vous donne un mot espagnol et vous dis de me donner un mot qui ressemble à ce que vous, en tant que locuteur anglais, me donneriez un mot anglais qui ressemble à cette chose », a-t-il expliqué. «Vous ne changeriez pas de langues sur moi et me donneriez un peu quelque chose d'une langue complètement différente, c'est ce que Chatgpt a fait.
« La seule fois où les gens changent de langues comme ça, c'est que les parents multilingues qui n'ont pas enseigné à leurs enfants en plus de l'anglais veulent parler de quelque chose sans que les enfants comprennent. »
Dans un troisième aspect de l'étude, les non-mots ont été conçus pour ressembler à de vrais mots en anglais. Chatgpt a ensuite été invité à évaluer les mots sur une échelle de l'un pour un « mauvais mot anglais » jusqu'à sept pour un « bon mot anglais » – c'est une évaluation de la quantité de mots non mot comme un mot en anglais. Les notes de Chatgpt ont ensuite été comparées à celles données par des anglophones humains.
Enfin, le chercheur de KU a incité Chatgpt à créer de nouveaux mots anglais qui se réfèrent à un concept nouveau – un peu comme les « Sniglets » popularisés dans les années 1980 par le comédien Rich Hall sur « Not Health the Heudiment the News » de HBO.
« Il avait l'habitude de faire des« rideaux », qui étaient des mots qui n'existaient pas», a déclaré Vitevitch. « Comme avec un aspirateur, quand il y a un fil sur le sol et que vous passez en revue et qu'il ne se fait pas aspirer. Donc, vous passez en revue – encore et encore. Comment s'appelle ce fil? » Carperpetuation. » Il est venu avec un nom pour ce fil qui n'est pas aspiré.
Selon Vitevitch, le bot de chat AI a fait « une sorte de travail intéressant là-bas ». Après avoir incité Chatgpt pour de nouveaux mots qui correspondaient à certains concepts, il a trouvé que cela s'appuyait souvent sur une méthode prévisible pour combiner deux mots.
« Mon préféré était » Rousrage « , car la colère s'est exprimée après avoir été réveillée », a déclaré Vitevitch.
D'autres pièces de monnaie de Word Chatgpt de la recherche comprennent:
- « Prideify: » Soyez fier de la réalisation de quelqu'un d'autre.
- « Lexinize: » Le processus par lequel un non-mot commence à prendre un sens.
- « Stumplop: » Pour trébucher sur ses propres pieds.
En parlant des bêtises à Chatgpt, Vitevitch espère mieux comprendre quand l'IA pourrait aider les humains dans certaines tâches de langue plutôt que de simplement dupliquer ce que les humains peuvent déjà faire assez bien.
