Des chercheurs entraînent l’IA à détecter les interférences étrangères en ligne
Les technologies modernes comme les médias sociaux permettent plus que jamais aux ennemis des États-Unis de manipuler émotionnellement les citoyens américains.
Les responsables américains préviennent que les adversaires étrangers tentent de produire en ligne d'énormes quantités d'informations fausses et trompeuses pour influencer l'opinion publique américaine. En juillet dernier, le ministère de la Justice a annoncé qu'il avait perturbé une campagne de désinformation soutenue par le Kremlin et utilisant près d'un millier de faux réseaux sociaux. comptes médiatiques pour tenter de diffuser de la désinformation.
Alors que l’IA est couramment utilisée à des fins offensives dans les guerres de désinformation pour générer de grandes quantités de contenu, l’IA joue désormais également un rôle important dans la défense.
Mark Finlayson, professeur au Collège d'ingénierie et d'informatique de la CRF, est un expert dans la formation de l'IA à comprendre des histoires. Il a consacré plus de deux décennies à étudier le sujet.
Des histoires convaincantes, mais fausses
La narration est importante pour diffuser la désinformation.
« Un récit sincère ou une anecdote personnelle est souvent plus convaincant pour le public que les faits », déclare Finlayson. « Les histoires sont particulièrement efficaces pour vaincre la résistance à une idée. »
Par exemple, un militant pour le climat peut mieux réussir à convaincre un public sur la pollution plastique en partageant l’histoire personnelle d’une tortue de mer sauvée avec une paille coincée dans le nez, plutôt qu’en citant uniquement des statistiques, explique Finlayson. L'histoire rend le problème pertinent.
« Nous explorons les différentes manières dont les histoires sont utilisées pour alimenter un argument », explique-t-il. « C'est un problème difficile, car les articles publiés sur les réseaux sociaux peuvent être aussi brefs qu'une seule phrase, et parfois, ces messages ne font que faire allusion à des histoires bien connues sans les raconter explicitement. »
Poignées suspectes
L'équipe de Finlayson explore également comment l'IA peut analyser les noms d'utilisateur ou les identifiants dans un profil de réseau social. Azwad Islam, titulaire d'un doctorat. étudiant et co-auteur d'un article récent publié avec Finlayson, explique que les noms d'utilisateur contiennent souvent des indices significatifs sur l'identité et les intentions d'un utilisateur.
Le document a été publié dans le Actes de la conférence internationale AAAI sur le Web et les médias sociauxune conférence sur l'intelligence artificielle.
« Les identifiants révèlent beaucoup de choses sur les utilisateurs et sur la manière dont ils souhaitent être perçus », explique Islam. « Par exemple, une personne prétendant être un journaliste new-yorkais pourrait choisir le pseudo '@AlexBurnsNYT' plutôt que '@NewYorkBoy », car cela semble plus crédible. Les deux poignées suggèrent cependant que l’utilisateur est un homme ayant une affiliation à New York. »
L'équipe de la CRF a présenté un outil capable d'analyser le pseudo d'un utilisateur, révélant de manière fiable le nom, le sexe, l'emplacement et même la personnalité d'une personne (si cette information est évoquée dans le pseudo).
Bien qu'un identifiant d'utilisateur ne puisse à lui seul confirmer si un compte est faux, il peut être crucial pour analyser l'authenticité globale d'un compte, d'autant plus que la capacité de l'IA à comprendre les histoires évolue.
« En interprétant les identifiants comme faisant partie du récit plus large présenté par un compte, nous pensons que les noms d'utilisateur pourraient devenir un outil essentiel pour identifier les sources de désinformation », déclare Islam.
Une cache culturelle douteuse
Les objets et les symboles peuvent avoir des significations différentes selon les cultures. Si un modèle d’IA n’est pas conscient des différences, il peut commettre une grave erreur dans la manière dont il interprète une histoire. Les adversaires étrangers peuvent également utiliser ces symboles pour rendre leurs messages plus convaincants auprès d’un public cible.
Anurag Acharya est un ancien doctorant. élève de Finlayson qui a travaillé sur ce problème. Il a découvert que former l’IA avec diverses perspectives culturelles améliore la compréhension de l’histoire de l’IA.
« Une histoire peut dire : 'La femme était ravie dans sa robe blanche.' Un modèle d'IA formé exclusivement sur les mariages à partir d'histoires occidentales pourrait lire cela et dire : « C'est génial ! » Mais si ma mère voyait cette phrase, elle serait très offensée, car nous ne portons du blanc qu'aux funérailles », explique Acharya, issue d'une famille d'origine hindoue.
Il est essentiel que l’IA comprenne ces nuances afin de pouvoir détecter quand des adversaires étrangers utilisent des messages et des symboles culturels pour avoir un impact malveillant plus important.
Acharya et Finlayson ont publié un article récent sur ce sujet, présenté lors d'un atelier lors de la réunion de la section nord-américaine de l'Association for Computational Linguistics (NAACL), une conférence sur l'IA.
Aider l'IA à trouver de l'ordre dans le chaos
Une autre difficulté de la compréhension des histoires est que la séquence d’événements racontée par un récit est rarement présentée dans un ordre net et précis. Au contraire, les événements se trouvent souvent en morceaux, entrelacés avec d’autres intrigues. Pour les lecteurs humains, cela ajoute un effet dramatique ; mais pour les modèles d’IA, des interrelations aussi complexes peuvent créer de la confusion.
Les recherches de Finlayson sur l'extraction de chronologies ont considérablement fait progresser la compréhension de l'IA des séquences d'événements dans les récits.
« Dans une histoire, vous pouvez avoir des inversions et des réarrangements d'événements de différentes manières complexes. C'est l'un des éléments clés sur lesquels nous avons travaillé avec l'IA. Nous avons aidé l'IA à comprendre comment cartographier différents événements qui se produisent dans le monde réel et comment ils pourraient s'influencer mutuellement », explique Finlayson.
« C'est un bon exemple de quelque chose que les gens trouvent facile à comprendre mais qui représente un défi pour les machines. Un modèle d'IA doit être capable d'ordonner avec précision les événements d'une histoire. Ceci est important non seulement pour identifier la désinformation, mais aussi pour prendre en charge de nombreux autres candidatures. »
Les progrès réalisés par l'équipe de la CRF pour aider l'IA à comprendre les histoires sont positionnés pour aider les analystes du renseignement à lutter contre la désinformation avec de nouveaux niveaux d'efficacité et de précision.
Fourni par l'Université internationale de Floride
