Langage écrit par l’IA ou par l’homme ? Les hypothèses trompent

Les hypothèses humaines concernant l’utilisation du langage peuvent conduire à des jugements erronés quant à savoir si le langage a été généré par l’IA ou par l’homme, ont découvert des chercheurs de Cornell Tech et de Stanford dans une série d’expériences.

Alors que la capacité des individus à détecter le langage généré par l’IA était généralement un jeu d’enfant à tous les niveaux, les gens étaient constamment influencés par les mêmes signaux verbaux, conduisant aux mêmes jugements erronés.

Les participants ne pouvaient pas différencier le langage généré par l’IA du langage généré par l’homme, supposant à tort que les mentions d’expériences personnelles et l’utilisation de pronoms « I » indiquaient des auteurs humains. Ils pensaient également que la formulation alambiquée était générée par l’IA.

« Nous avons appris quelque chose sur les humains et sur ce qu’ils croient être un langage humain ou IA », a déclaré Mor Naaman, professeur à l’Institut Jacobs Technion-Cornell de Cornell Tech et en sciences de l’information au Cornell Ann S. Bowers College of Computing and Information. Science. « Mais nous montrons également que l’IA peut en tirer parti, en tirer des leçons et ensuite produire des textes qui peuvent plus facilement induire les gens en erreur. »

Maurice Jakesch, Ph.D., ancien membre du laboratoire de technologies sociales de Naaman à Cornell Tech, est l’auteur principal de « Human Heuristics for AI-Generated Language Are Flawed », publié le 7 mars dans Actes de l’Académie nationale des sciences. Naaman et Jeff Hancock, professeur de communication à l’Université de Stanford, sont co-auteurs.

Les chercheurs ont mené trois expériences principales et trois autres pour valider les résultats, impliquant 4 600 participants et 7 600 « auto-présentations verbales » – le texte de profil utilisé pour se décrire sur les sites sociaux. Les expériences ont été calquées sur le test de Turing, développé en 1950 par le mathématicien britannique Alan Turing, qui a conçu le test pour mesurer la capacité d’une machine à présenter un comportement intelligent égal ou supérieur à celui d’un humain.

Au lieu de tester la machine, la nouvelle étude a testé la capacité des humains à détecter si l’intelligence présentée provenait d’une machine ou d’un humain. Les chercheurs ont formé plusieurs modèles de langage d’IA pour générer du texte dans trois contextes sociaux où la confiance dans l’expéditeur est importante : professionnel (demande d’emploi) ; romantique (rencontres en ligne); et l’hospitalité (profils d’hôtes Airbnb).

Dans les trois expériences principales, utilisant deux modèles de langage différents, les participants ont identifié la source d’une auto-présentation avec seulement 50 % à 52 % de précision. Mais les réponses, ont découvert les chercheurs, n’étaient pas aléatoires, car la concordance entre les réponses des répondants était nettement supérieure au hasard, ce qui signifie que de nombreux participants tiraient les mêmes conclusions erronées.

Les chercheurs ont mené une analyse de l’heuristique (le processus par lequel une conclusion est tirée) utilisée par les participants pour décider si le langage était généré par l’IA ou par l’homme, d’abord en demandant aux participants d’expliquer leurs jugements, puis en poursuivant avec une analyse informatique qui a confirmé ces rapports. Les gens ont cité des mentions d’expériences familiales et de vie, ainsi que l’utilisation de pronoms à la première personne, comme preuve du langage humain.

Cependant, un tel langage est également susceptible d’être produit par des modèles de langage d’IA.

« L’intuition des gens va à l’encontre de la conception actuelle de ces modèles de langage », a déclaré Naaman. « Ils produisent un texte qui est statistiquement probable – en d’autres termes, un langage commun. Mais les gens avaient tendance à associer un langage inhabituel à l’IA, un comportement que les systèmes d’IA peuvent ensuite exploiter pour créer un langage, comme nous l’appelons, « plus humain que humain.' »

Dans trois expériences de validation pré-enregistrées, les auteurs montrent qu’en effet, l’IA peut exploiter l’heuristique des gens pour produire un texte que les gens évaluent de manière plus fiable comme écrit par l’homme que le texte réellement écrit par l’homme.

La dépendance des gens à des heuristiques défectueuses pour identifier le langage généré par l’IA, écrivent les auteurs, n’est pas nécessairement indicative d’une intelligence artificielle accrue. Il ne faut pas une intelligence supérieure, disaient-ils, pour « tromper » les humains – juste un pronom personnel bien placé ou une mention de famille.

Les auteurs notent que si la capacité des humains à discerner le langage généré par l’IA peut être limitée, les modèles de langage qui « s’auto-divulguent par conception » permettraient à l’utilisateur de savoir que l’information n’est pas générée par l’homme tout en préservant l’intégrité du message.

Cela pourrait être réalisé soit par une langue qui est clairement non humaine (en évitant l’utilisation d’un discours informel) ou par des « accents d’IA » – un dialecte dédié qui pourrait « faciliter et soutenir les jugements intuitifs des gens sans interrompre le flux de communication », ils écrit.

Hancock, membre du corps professoral de Cornell de 2002 à 2015, a déclaré que ce travail était « l’un des derniers clous dans le cercueil » de l’ère des tests de Turing.

« Pour déterminer si quelque chose est intelligent ou non », a-t-il déclaré, « nos données montrent assez clairement que dans des façons assez importantes d’être humain – c’est-à-dire se décrire professionnellement, romantiquement ou en tant qu’hôte – c’est fini. La machine a passé ce test. »

Naaman a déclaré que ce travail, particulièrement pertinent avec l’arrivée d’outils d’IA tels que ChatGPT, met en évidence le fait que l’IA sera de plus en plus utilisée comme un outil pour faciliter la communication interhumaine.

« Il ne s’agit pas de nous parler à l’IA. C’est nous qui nous parlons via l’IA », a-t-il déclaré. « Et les implications que nous montrons sur la confiance sont importantes : les gens seront facilement induits en erreur et se méfieront facilement les uns des autres, pas de l’IA. »