Leçons d’un exercice de jeu de guerre simulé

Le 8 mars, l’équipe de campagne conservatrice a publié une vidéo de Pierre Poilievre sur les réseaux sociaux qui a attiré des questions inhabituelles de certains téléspectateurs. Pour beaucoup, le français de Poilievre sonnait un peu aussi lisse, et son teint avait l’air un peu aussi parfait. La vidéo avait ce que l’on appelle un effet « Valley Uncanny », ce qui a fait que certains se demandaient si le Poilievre qu’ils voyaient était même réel.

Avant longtemps, la section des commentaires remplie de spéculations: cette vidéo a-t-elle été générée par AI? Même une vidéo libérale du parti se moquant des commentaires de Poilievre a conduit les abonnés à demander pourquoi la vidéo des conservateurs sonnait « si doublée » et si elle a été faite avec l’IA.

La capacité de discerner réel de Fake est sérieusement en danger.

La vidéo fluide de Poilievre offre une réponse précoce à une question ouverte: comment une IA générative pourrait-elle affecter notre cycle électoral? Notre équipe de recherche de l’Université Concordia a créé une simulation pour expérimenter cette question.

D’un Mark Carney Deepfake aux vérificateurs de faits assistés par l’IA, nos résultats préliminaires suggèrent que l’IA génératrice ne va pas tout à fait rompre les élections, mais cela est susceptible de les rendre plus étranges.

Un jeu de guerre, mais pour les élections?

Notre simulation a poursuivi nos travaux passés dans le développement de jeux pour explorer le système médiatique canadien.

L’équipe rouge est un type d’exercice qui permet aux organisations de simuler des attaques contre leurs infrastructures et processus numériques critiques. Cela implique deux équipes: l’équipe rouge attaquante et l’équipe Blue en défense. Ces exercices peuvent aider à découvrir des points de vulnérabilité dans les systèmes ou les défenses et pratiquer les moyens de les corriger.

L’équipe rouge est devenue une partie importante de la cybersécurité et du développement de l’IA. Ici, les développeurs et les organisations stressent leurs logiciels et leurs systèmes numériques pour comprendre comment les pirates ou d’autres «mauvais acteurs» pourraient essayer de les manipuler ou de les écraser.

Avenir frauduleux

Notre simulation, appelée avenir frauduleux, a tenté d’évaluer l’impact de l’IA sur le cycle d’information politique du Canada.

Quatre jours après la campagne électorale fédérale en cours, nous avons effectué le premier test. Un groupe d’ex-journalistes, d’experts en cybersécurité et d’étudiants diplômés a été opposé les uns aux autres pour voir qui pourrait tirer parti des outils d’IA gratuits au mieux pour pousser leur agenda dans un environnement simulé de médias sociaux basé sur nos recherches antérieures.

Hébergé sur un serveur de mastodon privé, en toute sécurité des yeux publics, notre simulation de deux heures est rapidement descendue dans le silence alors que les joueurs jouaient leurs différents rôles sur nos serveurs simulés. Certains ont joué des influenceurs d’extrême droite, d’autres monarchistes pour faire du bruit ou des journalistes pour couvrir les événements en ligne. Les joueurs et les organisateurs ont appris la capacité générative de l’IA à créer une désinformation et les difficultés rencontrées par les parties prenantes essayant de le combattre.

Les joueurs connectés au serveur via leurs ordinateurs portables et se sont familiarisés avec les dizaines d’outils d’IA gratuits à leur disposition. Peu de temps après, nous avons partagé un clone vocal incriminant de Carney, créé avec un outil d’IA en ligne facilement accessible.

L’équipe rouge a été invitée à amplifier la désinformation, tandis que l’équipe bleue a été chargée de vérifier son authenticité et, si elle l’a déterminé comme fausse, atténuer le préjudice.

L’équipe bleue a commencé à tester l’audio via des outils de détection d’IA et a essayé de faire connaître que c’était un faux. Mais pour l’équipe rouge, cela comptait à peine. Les postes de vérification des faits ont été rapidement noyés par une multitude de nouveaux mèmes et de fausses images d’électeurs canadiens en colère dénonçant Carney.

Que le clip de Carney était ou non un Fokefake, il n’a pas vraiment d’importance. Le fait que nous ne pouvions pas dire à coup sûr C’était suffisant pour alimenter les attaques en ligne sans fin.

Apprendre d’un exercice

Notre simulation a délibérément exagéré le cycle d’information. Pourtant, l’expérience d’essayer de perturber les processus électoraux réguliers a été très instructif en tant que méthode de recherche. Notre équipe de recherche a trouvé trois principaux plats à retenir de l’exercice:

1. L’IA générative est facile à utiliser pour les perturbations

De nombreux outils d’IA en ligne prétendent sauvegarder contre la génération de contenu sur les élections et les chiffres publics. Malgré ces garanties, les joueurs ont noté que ces outils généreraient toujours du contenu politique.

La qualité globale du contenu produit était facile à distinguer comme générée par l’AI. Pourtant, l’un de nos joueurs a noté à quel point il était simple « de générer et de spam autant de contenu que possible afin de brouiller les eaux du paysage numérique ».

2. Les outils de détection de l’IA ne nous sauvent pas

Les outils de détection d’IA ne peuvent aller que si loin. Ils sont rarement concluants, et ils peuvent même avoir priorité sur le bon sens. Les joueurs ont noté que même lorsqu’ils savaient que le contenu était faux, ils sentaient toujours qu’ils « avaient besoin de trouver l’outil qui donnerait la réponse [they] veulent « prêter de crédibilité à leurs interventions.

Le plus révélateur était de savoir comment les journalistes de l’équipe bleue se sont tournés vers des outils de détection défectueux sur leur propre travail d’enquête, signe que les utilisateurs peuvent laisser la compétence journalistique de la détection de l’IA.

Avec un contenu de meilleure qualité disponible dans les situations du monde réel, il pourrait y avoir un rôle pour les outils spécialisés de détection d’IA dans les processus de sécurité journalistique et électorale – malgré des défis complexes – mais ces outils ne devraient pas remplacer d’autres méthodes d’investigation.

Cependant, les outils de détection ne contribueront probablement qu’à la propagation de l’incertitude en raison du manque de normes et de confiance dans leurs évaluations.

3. La qualité des profondeurs est difficile à faire

Le contenu généré par l’IA de haute qualité est réalisable et a déjà causé de nombreux dommages et paniques en ligne et réels. Cependant, notre simulation a contribué à confirmer que les Fonds de qualité sont difficiles et qui prennent du temps à faire.

Il est peu probable que la disponibilité en masse de l’IA générative entraîne un afflux écrasant de contenu trompeur de haute qualité. Ces types de Fakefakes Deeper proviendront probablement de groupes plus organisés, financés et spécialisés engagés dans des interférences électorales.

Démocratie à l’ère de l’IA

Un majeur à retenir de notre simulation était que la prolifération de l’IA Sols et la ralentissement de l’incertitude et de la méfiance sont faciles à réaliser à une échelle de spam avec des outils en ligne librement accessibles et peu ou pas de connaissances ou de préparation antérieures.

Notre expérience d’équipe rouge a été une première tentative pour voir comment les participants pourraient utiliser une IA générative lors des élections. Nous allons travailler pour améliorer et réécrire la simulation pour inclure le cycle d’information plus large, avec un œil particulier vers une meilleure simulation de coopération d’équipe bleue dans l’espoir de refléter les efforts du monde réel des journalistes, des responsables électoraux, des partis politiques et d’autres pour maintenir l’intégrité des élections.

Nous prévoyons que le débat de Poilievre n’est que le début d’une longue série d’incidents à venir, où l’IA déforme notre capacité à discerner le réel du faux. Bien que tout le monde puisse jouer un rôle dans la lutte contre la désinformation, l’expérience pratique et l’alphabétisation des médias basés sur le jeu se sont révélés être des outils précieux. Notre simulation propose une nouvelle façon engageante d’explorer les impacts de l’IA sur notre écosystème médiatique.