Comment l'IA aide les chercheurs à renifler les campagnes de désinformation

Ce n'est pas souvent que des faits froids et durs déterminent ce qui se soucie le plus et ce qu'ils croient. Au lieu de cela, c'est le pouvoir et la familiarité d'une histoire bien racontée qui règne en maître. Qu'il s'agisse d'une anecdote sincère, d'un témoignage personnel ou d'un mème faisant écho aux récits culturels familiers, les histoires ont tendance à rester avec nous, à nous déplacer et à façonner nos croyances.

Cette caractéristique de la narration est précisément ce qui peut la rendre si dangereuse lorsqu'elle est exercée par les mauvaises mains. Pendant des décennies, les adversaires étrangers ont utilisé des tactiques narratives dans les efforts de manipulation de l'opinion publique aux États-Unis. Les plateformes de médias sociaux ont apporté une nouvelle complexité et une nouvelle amplification à ces campagnes. Le phénomène a recueilli un examen approfondi du public après que des preuves ont émergé des entités russes exerçant une influence sur le matériel lié aux élections sur Facebook lors des élections de 2016.

Alors que l'intelligence artificielle exacerbe le problème, elle devient en même temps l'une des défenses les plus puissantes contre de telles manipulations. Les chercheurs ont utilisé des techniques d'apprentissage automatique pour analyser le contenu de la désinformation.

Au laboratoire de cognition, narrative et culturelle de la Florida International University, nous construisons des outils d'IA pour aider à détecter les campagnes de désinformation qui utilisent des outils de persuasion narrative. Nous formons l'IA pour aller au-delà de l'analyse du langage au niveau de la surface pour comprendre les structures narratives, les personnages traces et les délais et décoder les références culturelles.

Désinformation vs désinformation

En juillet 2024, le ministère de la Justice a perturbé une opération soutenue par le Kremlin qui a utilisé près d'un millier de faux comptes de médias sociaux pour diffuser de faux récits. Ces incidents n'étaient pas isolés. Ils faisaient partie d'une campagne organisée, propulsée en partie par l'IA.

La désinformation diffère cruciale d'une désinformation. Bien que la désinformation soit simplement une information fausse ou inexacte – les faits erronés – les dispositifs de disposition sont intentionnellement fabriqués et partagés spécifiquement pour induire et manipuler. Une illustration récente de ceci est venue en octobre 2024, lorsqu'une vidéo prétendant montrer un travailleur électoral de Pennsylvanie déchirant les bulletins de vote par courrier marqués pour Donald Trump a balayé des plates-formes telles que X et Facebook.

En quelques jours, le FBI a tracé le clip à une tenue d'influence russe, mais pas avant d'avoir accumulé des millions de vues. Cet exemple démontre de manière vivante comment l'influence étrangère des campagnes fabrique artificiellement et amplifie des histoires fabriquées pour manipuler la politique américaine et attiser les divisions parmi les Américains.

Les humains sont câblés pour traiter le monde à travers des histoires. Depuis l'enfance, nous grandissons en entendant des histoires, en les racontant et en les utilisant pour donner un sens à des informations complexes. Les récits n'aident pas seulement les gens à se souvenir – ils nous aident à ressentir. Ils favorisent les liens émotionnels et façonnent nos interprétations des événements sociaux et politiques.

Cela en fait des outils particulièrement puissants pour la persuasion – et, par conséquent, pour répandre la désinformation. Un récit convaincant peut remplacer le scepticisme et influencer l'opinion plus efficacement qu'un flot de statistiques. Par exemple, une histoire sur le sauvetage d'une tortue de mer avec une paille en plastique dans son nez fait souvent plus pour soulever des inquiétudes concernant la pollution plastique que les volumes de données environnementales.

Noms d'utilisateur, contexte culturel et temps narratif

En utilisant des outils d'IA pour reconstituer une image du narrateur d'une histoire, la chronologie de la façon dont il le dit et les détails culturels spécifiques à l'endroit où l'histoire se déroule peut aider à identifier quand une histoire ne s'additionne pas.

Les récits ne sont pas confinés au contenu que les utilisateurs sont partagés – ils s'étendent également à la construction des utilisateurs de la personne pour leur dire. Même une poignée de médias sociaux peut porter des signaux persuasifs. Nous avons développé un système qui analyse les noms d'utilisateur pour déduire des traits démographiques et d'identité tels que le nom, le sexe, l'emplacement, le sentiment et même la personnalité, lorsque de tels indices sont intégrés dans la poignée. Ce travail, présenté en 2024 lors de la Conférence internationale sur le Web et les médias sociaux, souligne comment même une brève série de personnages peut signaler comment les utilisateurs veulent être perçus par leur public.

Par exemple, un utilisateur tentant d'apparaître en tant que journaliste crédible pourrait choisir une poignée comme @jamesburnsnyt plutôt que quelque chose de plus décontracté comme @jimb_nyc. Les deux peuvent suggérer un utilisateur masculin de New York, mais on porte le poids de la crédibilité institutionnelle. Les campagnes de désinformation exploitent souvent ces perceptions en créant des poignées qui imitent des voix ou des affiliations authentiques.

Bien qu'une poignée à elle seule ne puisse pas confirmer si un compte est authentique, il joue un rôle important dans l'évaluation de l'authenticité globale. En interprétant les noms d'utilisateur comme faisant partie du récit plus large qu'un compte présente, les systèmes d'IA peuvent mieux évaluer si une identité est fabriquée pour gagner la confiance, se fondre dans une communauté cible ou amplifier le contenu persuasif. Ce type d'interprétation sémantique contribue à une approche plus holistique de la détection de désinformation – une qui considère non seulement ce qui est dit, mais qui semble le dire et pourquoi.

De plus, les histoires ne se déroulent pas toujours chronologiquement. Un fil de médias sociaux pourrait s'ouvrir avec un événement choquant, revenir aux moments précédents et sauter les détails clés entre les deux.

Les humains gèrent cela sans effort – nous avons l'habitude de fragmenter la narration. Mais pour l'IA, la détermination d'une séquence d'événements basée sur un compte narratif reste un défi majeur.

Notre laboratoire développe également des méthodes d'extraction de chronologie, d'enseigner l'IA à identifier les événements, à comprendre leur séquence et à cartographier comment ils se rapportent les uns aux autres, même lorsqu'une histoire est racontée de manière non linéaire.

Les objets et les symboles portent souvent des significations différentes dans différentes cultures et sans conscience culturelle, les systèmes d'IA risquent à mal interpréter les récits qu'ils analysent. Les adversaires étrangers peuvent exploiter les nuances culturelles pour élaborer des messages qui résonnent plus profondément avec un public spécifique, améliorant le pouvoir persuasif de la désinformation.

Considérez la phrase suivante: « La femme en robe blanche était remplie de joie. » Dans un contexte occidental, la phrase évoque une image heureuse. Mais dans certaines parties de l'Asie, où le blanc symbolise le deuil ou la mort, il pourrait sembler troublant ou même offensant.

Afin d'utiliser l'IA pour détecter la désinformation qui arme les symboles, les sentiments et la narration au sein des communautés ciblées, il est essentiel de donner à l'IA ce type d'alphabétisation culturelle. Dans nos recherches, nous avons constaté que la formation de l'IA sur divers récits culturels améliore sa sensibilité à de telles distinctions.

Qui bénéficie d'une IA narrative – Ai-Ai?

Les outils de l'IA conscients narratifs peuvent aider les analystes de l'intelligence à identifier rapidement les campagnes d'influence orchestrée ou des scénarios chargés émotionnellement qui se répandent inhabituellement rapidement. Ils pourraient utiliser des outils d'IA pour traiter de grands volumes de publications sur les réseaux sociaux afin de cartographier les arcs narratifs persuasifs, d'identifier des scénarios presque identiques et un calendrier coordonné de drapeau de l'activité des médias sociaux. Les services de renseignement pourraient alors utiliser des contre-mesures en temps réel.

De plus, les agences de crise-réponse pourraient identifier rapidement les récits nuisibles, tels que les fausses réclamations d'urgence lors de catastrophes naturelles. Les plateformes de médias sociaux pourraient utiliser ces outils pour acheminer efficacement le contenu à haut risque pour une revue humaine sans censure inutile. Les chercheurs et les éducateurs pourraient également profiter en suivant la façon dont une histoire évolue entre les communautés, ce qui rend l'analyse narrative plus rigoureuse et partageable.

Les utilisateurs ordinaires peuvent également bénéficier de ces technologies. Les outils d'IA pourraient signaler les publications sur les réseaux sociaux en temps réel en tant que désinformation possible, permettant aux lecteurs d'être sceptiques quant aux histoires suspectes, contrecarrant ainsi les mensonges avant de prendre racine.

Alors que l'IA joue un plus grand rôle dans la surveillance et l'interprétation du contenu en ligne, sa capacité à comprendre la narration au-delà de l'analyse sémantique traditionnelle est devenue essentielle. À cette fin, nous construisons des systèmes pour découvrir des modèles cachés, décoder les signaux culturels et tracer des délais narratifs pour révéler comment la désinformation s'installe.