Pourquoi les grands modèles linguistiques ne parviennent pas à imiter les gens

Les grands modèles de langage comme ChatGPT et Copilot sont utiles pour beaucoup de choses. Cependant, ils ne sont pas encore assez bons pour imiter la façon dont les gens parlent.

Il est facile de se laisser impressionner par l’intelligence artificielle. De nombreuses personnes utilisent de grands modèles de langage tels que ChatGPT, Copilot et Perplexity pour résoudre diverses tâches ou simplement à des fins de divertissement.

Mais dans quelle mesure ces grands modèles de langage sont-ils capables de prétendre être humains ? Pas grand-chose, selon des recherches récentes.

« Les grands modèles de langage parlent différemment des gens, » a déclaré le professeur agrégé Lucas Bietti du Département de psychologie.

Bietti est l'un des auteurs d'un article de recherche récemment publié dans Sciences cognitives. L'auteur principal est Eric Mayor de l'Université de Bâle, tandis que l'auteur final est Adrian Bangerter de l'Université de Neuchâtel.

Testé plusieurs modèles

Les grands modèles de langage testés par les chercheurs étaient ChatGPT-4, Claude Sonnet 3.5, Vicuna et Wayfarer. Premièrement, ils ont comparé de manière indépendante les transcriptions de conversations téléphoniques entre humains avec des conversations simulées dans les grands modèles linguistiques. Ils ont ensuite vérifié si d’autres personnes pouvaient faire la distinction entre les conversations téléphoniques humaines et celles des modèles linguistiques.

Pour la plupart, les gens ne sont pas dupes – ou du moins pas encore. Alors, qu’est-ce que les modèles de langage font de mal ?

Trop d'imitations

Lorsque les gens se parlent, il y a une certaine imitation. On adapte légèrement nos propos et la conversation en fonction de l'autre personne. Cependant, l’imitation est généralement assez subtile.

« Les grands modèles de langage sont un peu trop désireux d'être imités, et cette imitation exagérée est quelque chose que les humains peuvent comprendre, » dit Bietti.

Ceci s'appelle « alignement exagéré. » Mais ce n'est pas tout.

Utilisation incorrecte des mots de remplissage

Les films avec de mauvais scénarios ont généralement des conversations qui semblent artificielles. Dans de tels cas, les scénaristes ont souvent oublié que les conversations ne consistent pas uniquement en mots de contenu nécessaires. Dans les conversations réelles et quotidiennes, la plupart d'entre nous incluent de petits mots appelés « marqueurs du discours ». »

Ce sont des mots comme « donc, » « Bien, » 'comme » et « de toute façon. »

Ces mots ont une fonction sociale car ils peuvent signaler un intérêt, une appartenance, une attitude ou une signification pour l'autre personne. De plus, ils peuvent également être utilisés pour structurer la conversation.

Les grands modèles de langage sont encore incapables d'utiliser ces mots. « Les grands modèles linguistiques utilisent ces petits mots différemment, et souvent de manière incorrecte, » dit Bietti.

Cela contribue à les exposer comme non-humains. Mais il y a plus.

Fonctionnalités d'ouverture et de fermeture

Lorsque vous commencez à parler à quelqu’un, vous n’allez probablement pas droit au but. Au lieu de cela, vous pourriez commencer par dire « Hé » ou « alors, comment vas-tu ? » ou « oh, ça me ferait plaisir de te voir ici. » Les gens ont tendance à bavarder avant de passer à ce dont ils veulent réellement parler.

Ce passage de l’introduction à l’entreprise s’effectue plus ou moins automatiquement pour les humains, sans être explicitement affirmé.

« Cette introduction et le passage à une nouvelle phase de la conversation sont également difficiles à imiter pour les grands modèles linguistiques. » dit Bietti.

Il en va de même pour la fin de la conversation. Nous ne mettons généralement pas fin brusquement à une conversation dès que l’information a été transmise à l’autre personne. Au lieu de cela, nous terminons souvent la conversation avec des phrases comme « ok, alors, » « d'accord, » « on se parle plus tard, » ou « à bientôt. »

Les grands modèles de langage ne gèrent pas non plus cette partie.

Mieux à l'avenir ? Probablement

Dans l’ensemble, ces fonctionnalités causent tellement de problèmes aux grands modèles de langage que la conclusion est claire : « Les grands modèles de langage d'aujourd'hui ne sont pas encore capables d'imiter suffisamment bien les humains pour nous tromper systématiquement, » dit Bietti.

Les développements dans ce domaine progressent si rapidement que les grands modèles de langage seront probablement en mesure de le faire très bientôt, du moins si nous le souhaitons. Ou le feront-ils ?

« Les améliorations apportées aux grands modèles de langage permettront très probablement de réduire l'écart entre les conversations humaines et les conversations artificielles, mais des différences clés persisteront probablement, » conclut Bietti.

Pour le moment, les grands modèles de langage ne sont pas encore suffisamment humains pour nous tromper. Du moins, pas à chaque fois.