L'outil vocal d'IA "abusé" alors que les deepfakes inondent le forum Web

Les deepfakes en temps réel sont une nouvelle menace dangereuse. Comment se protéger

Crédit : domaine public Unsplash/CC0

Vous avez probablement vu des vidéos deepfake sur Internet qui injectent des fac-similés de personnes célèbres dans des situations étranges ou amusantes – par exemple, un faux Tom Cruise faisant du « nettoyage industriel » ou, dans un véritable méta-effort, un Morgan Freeman artificiel hype « l’époque de la réalité synthétique. »

Imaginez maintenant que vous recevez un appel téléphonique de quelqu’un qui parle exactement comme votre enfant, implorant une aide d’urgence. Même technologie, mais personne ne rit.

Les experts en cybersécurité affirment que la technologie deepfake a progressé au point où elle peut être utilisée en temps réel, permettant aux fraudeurs de reproduire la voix, l’image et les mouvements de quelqu’un lors d’un appel ou d’une réunion virtuelle. La technologie est également largement disponible et relativement facile à utiliser, disent-ils. Et ça s’améliore tout le temps.

« Grâce aux outils d’intelligence artificielle qui créent des » médias synthétiques « ou génèrent du contenu, un pourcentage croissant de ce que nous regardons n’est pas authentique, et il devient de plus en plus difficile de faire la différence », a averti la Federal Trade Commission.

Les chercheurs affirment que la technologie des deepfakes en temps réel existe depuis une bonne partie de la décennie. Ce qui est nouveau, c’est la panoplie d’outils disponibles pour les réaliser.

« Nous savons que nous ne sommes pas préparés en tant que société » à cette menace, a déclaré Andrew Gardner, vice-président de la recherche, de l’innovation et de l’IA chez Gen. En particulier, a-t-il déclaré, il n’y a nulle part où aller si vous êtes confronté à un potentiel deepfake arnaque et vous avez besoin d’une aide immédiate pour la vérifier.

Des deepfakes en temps réel ont été utilisés pour effrayer les grands-parents afin qu’ils envoient de l’argent à des parents simulés, pour gagner des emplois dans des entreprises technologiques dans le but d’obtenir des informations privilégiées, d’influencer les électeurs et de siphonner l’argent d’hommes et de femmes seuls. Les fraudeurs peuvent copier un enregistrement de la voix de quelqu’un qui a été publié en ligne, puis utiliser l’audio capturé pour se faire passer pour l’être cher de la victime ; un homme de 23 ans est accusé d’avoir escroqué des grands-parents à Terre-Neuve de 200 000 $ en seulement trois jours en utilisant cette technique.

Des outils pour éliminer cette dernière génération de deepfakes émergent également, mais ils ne sont pas toujours efficaces et peuvent ne pas vous être accessibles. C’est pourquoi les experts conseillent de prendre quelques mesures simples pour vous protéger, vous et vos proches, contre ce nouveau type d’escroquerie.

Le terme deepfake est un raccourci pour une simulation alimentée par une technologie d’apprentissage en profondeur – une intelligence artificielle qui ingère des océans de données pour essayer de reproduire quelque chose d’humain, comme avoir une conversation (par exemple, ChatGPT) ou créer une illustration (par exemple, Dall-E). Gardner a déclaré que le développement de ces outils reste une proposition coûteuse et chronophage, mais que leur utilisation est relativement rapide et facile.

Yisroel Mirsky, chercheur en intelligence artificielle et expert en deepfake à l’université Ben Gourion du Néguev, a déclaré que la technologie avait progressé au point qu’il était possible de faire une vidéo deepfake à partir d’une seule photo d’une personne et d’un clone « décent » d’un voix à partir de seulement trois ou quatre secondes d’audio. Mais Gardner a déclaré que les outils largement disponibles pour créer des deepfakes sont en retard par rapport à l’état de l’art ; ils nécessitent environ cinq minutes d’audio et une à deux heures de vidéo.

Quoi qu’il en soit, grâce à des sites comme Facebook, Instagram et YouTube, il y a beaucoup d’images et d’audio à trouver pour les fraudeurs.

Mirsky a déclaré qu’il était facile d’imaginer un attaquant regardant sur Facebook pour identifier les enfants d’une cible potentielle, appelant le fils à enregistrer suffisamment d’audio pour cloner sa voix, puis utilisant un deepfake du fils pour mendier de l’argent à la cible pour sortir d’un bourrage de une sorte.

La technologie devient si efficace, dit-il, que vous pouvez cloner un visage ou une voix avec un ordinateur de jeu de base. Et le logiciel est « vraiment pointer et cliquer », a-t-il dit, facilement disponible en ligne et configurable avec une programmation de base.

Pour illustrer l’efficacité des deepfakes en temps réel, le groupe gouvernemental de LexisNexis Risk Solutions a partagé une vidéo que David Maimon, professeur de criminologie à la Georgia State University, a récupérée sur le dark web d’une apparente arnaque à la pêche au chat en cours. Il a montré une conversation en ligne entre un homme plus âgé et une jeune femme qui demandait un prêt afin qu’elle puisse rencontrer l’homme au Canada. Mais dans une troisième fenêtre, vous pouviez voir qu’un homme prononçait en fait les mots qui sortaient de la bouche de la femme avec une voix de femme – c’était un deepfake, et il était un escroc.

Cette technique est connue sous le nom de reconstitution, ont déclaré Mirsky et Wenke Lee du Georgia Institute of Technology dans un article publié en 2020. Elle peut également être utilisée pour « commettre des actes de diffamation, provoquer la discrédibilité, diffuser de la désinformation et falsifier des preuves », ont-ils écrit. . Une autre approche est le remplacement, où le visage ou le corps de la cible est placé sur quelqu’un d’autre, comme dans les vidéos porno de vengeance.

Mais comment, exactement, les fraudeurs utilisent les outils reste un peu mystérieux, a déclaré Gardner. C’est parce que nous ne savons que ce qu’ils ont été surpris en train de faire.

Haywood Talcove, directeur général du groupe gouvernemental de LexisNexis Risk Solutions, a déclaré que la nouvelle technologie peut contourner certaines des techniques de sécurité que les entreprises ont déployées à la place des mots de passe. Par exemple, il a souligné le processus d’identification en ligne en deux étapes de la Californie, qui demande aux utilisateurs de télécharger deux choses : une photo de leur permis de conduire ou de leur carte d’identité, puis un selfie fraîchement pris. Les fraudeurs peuvent acheter une fausse carte d’identité californienne en ligne pour quelques dollars, puis utiliser un logiciel deepfake pour générer un visage correspondant au selfie. « C’est un couteau chaud dans du beurre », a-t-il déclaré.

De même, Talcove a déclaré que les sociétés financières devaient cesser d’utiliser des outils d’identification vocale pour déverrouiller des comptes. « Je serais nerveux si [at] ma banque, ma voix était mon mot de passe », a-t-il dit. « Juste en utilisant la voix seule, ça ne marche plus. » Il en va de même pour la reconnaissance faciale, a-t-il dit, ajoutant que la technologie était à la fin de sa vie utile comme un moyen de contrôler l’accès.

Le Cybercrime Support Network, un organisme à but non lucratif qui aide les particuliers et les entreprises victimes d’escroqueries en ligne, travaille souvent avec des cibles d’escroqueries amoureuses, et il exhorte les gens à faire des chats vidéo avec leurs prétendants pour essayer d’éliminer les escrocs. Ally Armeson, directeur des programmes du réseau, a déclaré qu’il y a à peine deux ou trois ans, ils pouvaient dire aux clients de rechercher des problèmes faciles à repérer, comme des images figées. Mais ces dernières semaines, a-t-elle dit, le réseau a été contacté par des victimes d’escroquerie qui ont déclaré avoir fait un chat vidéo pendant 10 ou 20 minutes avec leur supposé prétendant, « et c’est absolument la personne qu’ils m’ont envoyée sur la photo.  »

Elle a ajouté: « Les victimes ont dit: » La tête avait l’air bizarre sur le corps, donc ça avait l’air un peu bizarre. «  » Mais il n’est pas inhabituel que les gens ignorent les drapeaux rouges, a-t-elle déclaré. « Ils veulent croire que la vidéo est réelle, alors ils négligeront les écarts mineurs. »

(Les victimes d’escroqueries amoureuses aux États-Unis ont signalé des pertes de 1,3 milliard de dollars l’année dernière.)

Les deepfakes en temps réel représentent également une nouvelle menace dangereuse pour les entreprises. De nombreuses entreprises forment leurs employés à reconnaître les attaques de phishing par des inconnus, a déclaré Mirsky, mais personne ne se prépare vraiment aux appels de deepfakes avec la voix clonée d’un collègue ou d’un patron.

« Les gens confondront familiarité avec authenticité », a-t-il déclaré. « Et en conséquence, les gens vont tomber dans le piège de ces attaques. »

Comment se protéger

Talcove a proposé un moyen simple et difficile à battre de se prémunir contre les deepfakes qui se font passer pour un membre de la famille : avoir un mot de code secret que chaque membre de la famille connaît, mais que les criminels ne devineraient pas. Si quelqu’un prétendant être votre fille, votre petit-fils ou votre neveu appelle, a déclaré Talcove, demander le mot de code peut séparer les vrais proches des faux.

« Chaque famille a maintenant besoin d’un mot de code », a-t-il déclaré.

Choisissez quelque chose de simple et facilement mémorable qui n’a pas besoin d’être écrit (et qui n’est pas publié sur Facebook ou Instagram), a-t-il dit, puis percez-le dans la mémoire de votre famille. « Vous devez vous assurer qu’ils connaissent et pratiquent, pratiquent, pratiquent », a déclaré Talcove.

Gardner a également préconisé des mots de code. « Je pense que la préparation va un long chemin » dans la défense contre les escroqueries profondes, a-t-il déclaré.

Armeson a déclaré que son réseau dit toujours aux gens de rechercher certains indices lors des appels vidéo, y compris leur prétendu amant clignant trop ou trop peu, ayant des sourcils qui ne correspondent pas au visage ou aux cheveux au mauvais endroit, et une peau qui ne correspond pas leur age. Si la personne porte des lunettes, vérifiez si la réflexion qu’elles donnent est réaliste, indique le réseau : « les deepfakes ne parviennent souvent pas à représenter pleinement la physique naturelle de l’éclairage ».

Elle exhorte également les gens à faire ces tests simples : demandez à l’autre personne de l’appel vidéo de tourner la tête et de mettre une main devant son visage. Ces manœuvres peuvent être révélatrices, a-t-elle déclaré, car les deepfakes n’ont souvent pas été formés pour les faire de manière réaliste.

Pourtant, a-t-elle admis, « nous ne faisons que jouer la défense ». Les fraudeurs « seront toujours en quelque sorte devant nous », en éliminant les pépins qui révèlent l’escroquerie, a-t-elle déclaré. « C’est exaspérant. »

En fin de compte, a-t-elle déclaré, le moyen le plus fiable d’éliminer les deepfakes pourrait être d’insister pour une réunion en personne. « Nous devons être vraiment analogiques à ce sujet. Nous ne pouvons pas simplement compter sur la technologie. »

Il existe des outils logiciels qui recherchent automatiquement les problèmes et les modèles générés par l’IA dans le but de séparer l’audio et la vidéo légitimes des faux. Mais Mirsky a déclaré que « c’est potentiellement un jeu perdant » car à mesure que la technologie s’améliore, les signes révélateurs qui trahissaient les contrefaçons disparaîtront.

Mirsky et son équipe de l’Université Ben Gourion ont développé une approche différente, appelée D-CAPTCHA, qui fonctionne sur le même principe que certains sites Web utilisent pour empêcher les bots de soumettre des formulaires en ligne. Un système D-CAPTCHA pose un test conçu pour déjouer les deepfakes actuels en temps réel, par exemple en demandant aux appelants de fredonner, rire, chanter ou simplement se racler la gorge.

Le système, qui n’a pas encore été commercialisé, pourrait prendre la forme d’une salle d’attente pour authentifier les invités participant à des réunions virtuelles sensibles ou d’une application qui vérifie les appelants suspects. En fait, a déclaré Mirsky, « nous pouvons développer des applications qui peuvent essayer d’attraper ces appels suspects et les examiner avant qu’ils ne soient connectés ».

Gardner a offert une autre note pleine d’espoir. Les expériences que les gens ont maintenant avec l’IA et des applications comme ChatGPT, a-t-il dit, ont permis aux gens de se demander plus rapidement ce qui est réel et ce qui est faux, et de regarder de manière plus critique ce qu’ils voient.

« Le fait que les gens aient ces conversations sur l’IA en tête-à-tête est, je pense, utile », a-t-il déclaré.