Les utilisateurs des réseaux sociaux ont du mal à identifier les robots IA lors d’un discours politique

Les robots d’intelligence artificielle ont déjà envahi les réseaux sociaux. Mais les utilisateurs peuvent-ils dire qui est humain et qui ne l’est pas ?

Des chercheurs de l'Université de Notre Dame ont mené une étude utilisant des robots IA basés sur de grands modèles de langage (un type d'IA développé pour la compréhension du langage et la génération de texte) et ont demandé aux participants humains et aux robots IA de s'engager dans un discours politique sur un site personnalisé et auto-hébergé. exemple de Mastodon, une plateforme de réseautage social.

L’expérience a été menée en trois cycles, chaque cycle durant quatre jours. Après chaque tour, les participants humains ont été invités à identifier les comptes qu'ils pensaient être des robots IA.

Dans 58 % des cas, les participants se sont trompés.

« Ils savaient qu'ils interagissaient à la fois avec des humains et des robots IA et étaient chargés d'identifier la véritable nature de chaque robot, et moins de la moitié de leurs prédictions étaient exactes », a déclaré Paul Brenner, membre du corps professoral et directeur du Center for Research Computing à Notre-Dame. Dame et auteur principal de l’étude.

« Nous savons que si les informations proviennent d'un autre humain participant à une conversation, l'impact est plus fort qu'un commentaire ou une référence abstraite. Ces robots IA sont plus susceptibles de réussir à diffuser des informations erronées car nous ne pouvons pas les détecter. »

L'étude a utilisé différents modèles d'IA basés sur LLM pour chaque cycle de l'étude : GPT-4 d'OpenAI, Llama-2-Chat de Meta et Claude 2 d'Anthropic. Les robots IA ont été personnalisés avec 10 personnages différents comprenant des profils personnels et des perspectives réalistes et variés sur la politique mondiale.

Les robots ont été chargés de commenter les événements mondiaux en fonction de caractéristiques assignées, de commenter de manière concise et de relier les événements mondiaux à des expériences personnelles. La conception de chaque personnage était basée sur d'anciens comptes de robots assistés par des humains qui avaient réussi à diffuser des informations erronées en ligne.

Les chercheurs ont noté que lorsqu’il s’agissait d’identifier quels comptes étaient des robots IA, la plate-forme LLM spécifique utilisée avait peu ou pas d’impact sur les prédictions des participants.

« Nous avons supposé que le modèle Llama-2 serait plus faible car il s'agit d'un modèle plus petit, pas nécessairement aussi capable de répondre à des questions approfondies ou d'écrire de longs articles. Mais il s'avère que lorsque vous discutez simplement sur les réseaux sociaux, il est assez impossible de le distinguer. « , a déclaré Brenner. « C'est préoccupant car il s'agit d'une plateforme en libre accès que tout le monde peut télécharger et modifier. Et cela ne fera que s'améliorer. »

Deux des personnages les plus réussis et les moins détectés étaient caractérisés comme étant des femmes diffusant des opinions sur les médias sociaux sur la politique, organisées et capables de réflexion stratégique. Les personnages ont été développés pour avoir un « impact significatif sur la société en diffusant de la désinformation sur les réseaux sociaux ». Pour les chercheurs, cela indique que les robots IA censés être doués pour diffuser de la désinformation sont également efficaces pour tromper les gens sur leur véritable nature.

Bien que les gens aient pu créer de nouveaux comptes de médias sociaux pour diffuser des informations erronées grâce à des robots assistés par l'homme, Brenner a déclaré qu'avec les modèles d'IA basés sur LLM, les utilisateurs peuvent le faire plusieurs fois d'une manière nettement moins coûteuse et plus rapide avec une précision raffinée pour comment ils veulent manipuler les gens.

Pour empêcher l’IA de diffuser des informations erronées en ligne, Brenner estime qu’il faudra une approche à trois volets comprenant l’éducation, une législation nationale et des politiques de validation des comptes sur les réseaux sociaux. Quant aux recherches futures, il vise à former une équipe de recherche pour évaluer l’impact des modèles d’IA basés sur LLM sur la santé mentale des adolescents et développer des stratégies pour combattre leurs effets.

L'étude « LLMs Among Us: Generative AI Participating in Digital Discourse » sera publiée et présentée lors du symposium du printemps 2024 de l'Association pour l'avancement de l'intelligence artificielle organisé à l'Université de Stanford en mars. Les résultats sont également disponibles sur le arXiv serveur de préimpression.

Outre Brenner, les co-auteurs de l'étude de Notre-Dame comprennent Kristina Radivojevic, doctorante au Département d'informatique et d'ingénierie et auteur principal de l'étude, et Nicholas Clark, chercheur au Center for Research Computing.