Les grands modèles de langage peuvent aider à détecter les robots des réseaux sociaux, mais peuvent également aggraver le problème

Une étude externe réalisée sur Twitter en 2022 a estimé qu’entre un tiers et deux tiers des comptes du réseau social étaient des robots. Et nombre de ces automates qui inondent les réseaux sociaux sont envoyés pour semer la polarisation politique, la haine, la désinformation, la propagande et les escroqueries. La capacité à les éliminer des foules en ligne est essentielle pour un Internet plus sûr et plus humain (ou du moins plus humain).

Mais la prolifération récente de grands modèles de langage (connus sous le nom de « LLM »), tels que ChatGPT d'OpenAI et Llama de Meta, risque de compliquer le monde des robots des médias sociaux.

Une équipe dirigée par des chercheurs de l'Université de Washington a découvert que si les opérateurs peuvent utiliser des LLM personnalisés pour rendre les robots plus sophistiqués et échapper aux détecteurs automatisés, les LLM peuvent également améliorer les systèmes de détection des robots. Lors des tests de l'équipe, les robots basés sur LLM ont réduit les performances des détecteurs existants de 30 %. Pourtant, les chercheurs ont également découvert qu'un LLM spécialement formé pour détecter les robots des réseaux sociaux surpassait les systèmes de pointe de 9 %.

L’équipe a présenté cette recherche le 11 août lors de la 62e réunion annuelle de l’Association de linguistique computationnelle à Bangkok.

« Il y a toujours eu une course aux armements entre les opérateurs de robots et les chercheurs qui tentent de les arrêter », a déclaré l'auteur principal Shangbin Feng, doctorant à la Paul G. Allen School of Computer Science & Engineering. « Chaque avancée dans la détection des robots s'accompagne souvent d'une avancée dans la sophistication des robots. Nous avons donc exploré les opportunités et les risques que présentent les grands modèles de langage dans cette course aux armements. »

Les chercheurs ont testé le potentiel des LLM à détecter les bots de plusieurs manières. Lorsqu'ils ont alimenté des ensembles de données Twitter (collectés avant que la plateforme ne devienne X) vers des LLM prêts à l'emploi, notamment ChatGPT et Llama, les systèmes n'ont pas réussi à détecter avec précision les bots plus que les technologies actuellement utilisées.

« Analyser si un utilisateur est un robot ou non est beaucoup plus complexe que certaines des tâches dans lesquelles nous avons vu ces LLM généraux exceller, comme se souvenir d'un fait ou résoudre un problème de mathématiques d'école primaire », a déclaré Feng.

Cette complexité vient en partie de la nécessité d'analyser trois types d'informations pour différents attributs pour détecter un bot : les métadonnées (nombre d'abonnés, géolocalisation, etc.), le texte publié en ligne et les propriétés du réseau (comme les comptes suivis par un utilisateur).

Lorsque l’équipe a peaufiné les LLM avec des instructions sur la façon de détecter les robots en fonction de ces trois types d’informations, les modèles ont pu détecter les robots avec une plus grande précision que les systèmes de pointe actuels.

L'équipe a également étudié comment les LLM pourraient rendre les bots plus sophistiqués et plus difficiles à détecter. Au début, les chercheurs ont simplement demandé aux LLM de réécrire la description de ce compte de bot pour qu'elle ressemble à celle d'un véritable utilisateur.

Ils ont également testé des approches plus itératives et plus complexes. Dans un test, le LLM a réécrit le message du bot. L’équipe a ensuite exécuté ce test dans un système de détection de bot existant, qui estimait la probabilité qu’un message ait été écrit par un bot. Ce processus était répété pendant que le LLM s’efforçait de réduire cette estimation. L’équipe a effectué un test similaire en supprimant et en ajoutant des comptes que le bot suivait pour ajuster son score de probabilité.

Ces stratégies, notamment la réécriture des messages des bots, ont réduit l'efficacité des systèmes de détection des bots jusqu'à 30 %. Mais les détecteurs basés sur LLM que l'équipe a formés n'ont constaté qu'une baisse de 2,3 % de leur efficacité sur ces messages manipulés, ce qui suggère que la meilleure façon de détecter les bots alimentés par LLM pourrait être d'utiliser les LLM eux-mêmes.

« Ce travail n’est qu’un prototype scientifique », a déclaré l’auteur principal, Yulia Tsvetkov, professeure associée à l’Allen School. « Nous ne publions pas ces systèmes comme des outils que tout le monde peut télécharger, car en plus de développer une technologie de défense contre les robots malveillants, nous expérimentons la modélisation des menaces pour créer un robot évasif, ce qui continue le jeu du chat et de la souris consistant à créer des robots plus puissants qui ont besoin de détecteurs plus puissants. »

Les chercheurs soulignent que l'utilisation des LLM comme détecteurs de robots présente des limites importantes, notamment la possibilité que ces systèmes divulguent des informations privées. Ils soulignent également que les données utilisées dans l'article datent de 2022, avant que Twitter ne ferme effectivement ses données aux chercheurs universitaires.

À l’avenir, les chercheurs souhaitent étudier la détection de robots au-delà du texte, comme les mèmes ou les vidéos sur d’autres plateformes comme TikTok, où de nouveaux ensembles de données sont disponibles. L’équipe souhaite également étendre la recherche à d’autres langues.

« Il est extrêmement important de mener ces recherches dans différentes langues », a déclaré Tsvetkov. « Nous constatons beaucoup de désinformation, de manipulation et de ciblage de populations spécifiques à la suite de divers conflits mondiaux. »

Les co-auteurs supplémentaires de cet article sont Herun Wan et Ningnan Wang, tous deux étudiants de premier cycle à l'Université Xi'an Jiaotong ; Minnan Luo, professeur adjoint à l'Université Xi'an Jiaotong ; et Zhaoxuan Tan, doctorant à l'Université de Notre Dame.