Un faux généré par l’IA du Pentagone en feu a créé le chaos. Le coupable n’était pas l’IA : c’était Twitter

Lundi matin dernier, un message inquiétant est apparu sur Twitter. Selon (entre autres) le compte vérifié de Bloomberg Feed, il y avait eu une explosion au Pentagone. Sous le titre accrocheur se trouvait une photo d’une grande colonne de fumée noire très proche d’un bâtiment dont la construction était similaire à celle d’autres bâtiments du Pentagone. Tout n’était qu’un mensonge : ce compte n’a aucun lien avec Bloomberg malgré que son nom tente d’indiquer le contraire, et Twitter l’a suspendu peu de temps après avoir publié cette fausse nouvelle.

deepfake dangereux. Le message posté par ce compte vérifié a commencé à partager viralement et vertigineux. Bien qu’aucun grand média aux États-Unis ne l’ait diffusé, de nombreux utilisateurs et même l’organisation médiatique russe Russia Today (RT) l’ont fait. L’impact de cette nouvelle a été important dans le domaine financier.

krach boursier soudain. En quelques minutes, divers indices boursiers ont chuté. Le S&P 500 a chuté de 0,3 %, tandis que l’indice Dow Jones a également fortement chuté en seulement 4 minutes. Les deux se sont rétablis tout aussi rapidement après que la nouvelle se soit révélée fausse.

dégâts légers. Malgré ces chutes soudaines, les dégâts réels semblent avoir été minimes. Le service d’incendie du comté d’Arlington (où se trouve le Pentagone) a rapidement démenti la nouvelle. dans un tweet. L’un de ses membres, le capitaine Nate Hiner, a expliqué que « rien qu’en regardant l’image, ce n’est pas le Pentagone. Je ne sais pas de quel bâtiment il s’agit. Il n’y a pas de bâtiment comme celui-ci à Arlington. »

Tout n’était qu’un mensonge.Une inspection minutieuse de la photo a clairement montré qu’il s’agissait d’un deepfake, une fausse image créée numériquement. Apparemment, il aurait pu être créé par un modèle d’IA générative, mais comme l’ont expliqué les experts, ce n’était pas vraiment le problème. C’est ce qu’a indiqué Renée DiResta, directrice de recherche au Stanford Internet Observatory et experte de la circulation de la désinformation, qui l’a indiqué dans le Washington Post :

« Ce n’est pas un problème d’IA en soi. N’importe qui ayant une expérience de Photoshop aurait pu créer cette image. ironiquement, il aurait probablement pu faire mieux. Mais c’est un exemple de la façon dont les signaux qui aident les gens à décider si les informations de dernière heure sont dignes de confiance sur Twitter sont devenus inutiles, tout comme la capacité de créer une irréalité à haute résolution est devenue plus largement accessible au monde entier ».

De qui est-ce la faute. Pas de l’IA, bien sûr. L’une des clés est sur Twitter, qui après la licenciements collectifs est à court d’équipement modéré et censuré dans le domaine de la désinformation. C’est aussi un problème que maintenant n’importe qui peut obtenir un compte vérifié en payant le Abonnement Twitter Bleu 8 $ par mois et confirmant avec votre téléphone mobile. Cela a déjà provoqué des blagues pratiques récemment.

Attention aux retweets. La faute à la manière dont fonctionne la viralité de ces images : si l’on ne vérifie pas si le tweet est réel, le problème s’aggrave. Comme indiqué dans WaPo, le problème ici est que d’autres comptes vérifiés comme OSINTdefender ont retweeté le message à leurs 336 000 abonnés.

Ils ont ensuite supprimé le message – il avait déjà été vu au moins 730 000 fois – mais ont expliqué qu’ils avaient vu les nouvelles sur Discord d’un nommé « Walter Bloomberg » et que l’image de l’explosion provenait de quelqu’un qui l’avait posté sur Facebook et qui Il prétendait travailler à Arlington. Cette page Facebook a ensuite été supprimée.

Si tu n’as pas de chèque bleu, je ne te crois pas (tant). D’autres comptes avec des milliers d’abonnés – qu’ils soient ou non des robots – ont republié les nouvelles, et certains d’entre eux avaient la marque vérifiée. L’agence du Pentagone Protection Corps qui protège précisément cet organisme n’a pas cette marque vérifiée et Twitter ne lui a pas accordé la coche grise qui montre qu’il s’agit d’une institution vérifiée.

Cette agence a retweeté le message du service d’incendie d’Arlington qui précisait nié les faits. Ce tweet compte désormais plus de 117 000 vues, bien moins que les originaux dans lesquels la fausse nouvelle a été diffusée, et qui ont été reproduits par une multitude de comptes. Twitter a depuis signalé plusieurs des tweets qui diffusaient les fausses informations et a ajouté une case avec le texte « Rester informé » avertissant que ce message est probablement faux.

Un vieux problème qui est susceptible de devenir plus répandu. Bien que dans ce cas l’image puisse être trompeuse à première vue, détecter qu’elle était fausse était relativement facile. C’est de plus en plus compliqué avec les modèles d’IA générative et il est probablement quasiment impossible de détecter qu’une image est fausse à court terme, mais le problème ne sera pas vraiment ça : les utilisateurs et surtout les médias et les organismes officiels seront ceux qui auront Nous devons être très prudents pour ne pas favoriser la propagation de ces fausses informations. Ici, des plates-formes comme Twitter feraient bien de consacrer plus de personnel à ce problème, surtout maintenant qu’avec ces modèles d’IA, il apparaît probablement beaucoup plus fréquemment. Pendant ce temps, oui, des systèmes essaient d’apparaître qui valident ou au moins étiquettent ce contenu généré par l’IA.