Un faux audio dans une école américaine déclenche l’alarme de l’IA

Un faux audio dans une école américaine déclenche l’alarme de l’IA

Un clip audio fabriqué d’un directeur de lycée américain a suscité un torrent d’indignation, le laissant aux prises avec des allégations de racisme et d’antisémitisme dans une affaire qui a déclenché une nouvelle inquiétude concernant la manipulation de l’IA.

La police a accusé un membre mécontent du personnel de l'école du Maryland d'avoir fabriqué l'enregistrement qui a fait surface en janvier – prétendument du directeur Eric Eiswert divaguant contre les Juifs et les « enfants noirs ingrats » – en utilisant l'intelligence artificielle.

Le clip, qui a laissé les administrateurs du lycée de Pikesville face à un flot d’appels de colère et de menaces, souligne la facilité avec laquelle l’IA et les outils d’édition largement disponibles peuvent être utilisés à mauvais escient pour usurper l’identité de célébrités et de citoyens ordinaires.

Au cours d’une année d’élections majeures à l’échelle mondiale, y compris aux États-Unis, l’épisode démontre également les dangers des deepfakes réalistes alors que la loi rattrape son retard.

« Il faut une image pour mettre une personne dans une vidéo, il faut 30 secondes d'audio pour cloner la voix de quelqu'un », explique à l'AFP Hany Farid, expert en criminalistique numérique à l'Université de Californie à Berkeley.

« Vous ne pouvez presque rien faire à moins de vous cacher sous un rocher.

« Le vecteur de menace est passé des Joe Biden et Taylor Swift du monde entier aux directeurs d'écoles secondaires, aux jeunes de 15 ans, aux journalistes, aux avocats, aux patrons, aux grands-mères. Tout le monde est désormais vulnérable. »

Après l'enquête officielle, le directeur sportif de l'école, Dazhon Darien, 31 ans, a été arrêté à la fin du mois dernier à cause du clip.

Les documents d'accusation indiquent que le personnel de l'école secondaire de Pikesville ne s'est pas senti en sécurité après la diffusion de l'audio. Les enseignants craignaient que le campus soit mis sur écoute par des appareils d'enregistrement tandis que des messages abusifs illuminaient les réseaux sociaux d'Eiswert.

Le « monde serait meilleur si vous étiez de l'autre côté de la terre », a écrit un utilisateur de X à Eiswert.

Eiswert, qui n'a pas répondu aux demandes de commentaires de l'AFP, a été mis en congé par l'école et avait besoin de sécurité à son domicile.

'Dommage'

Lorsque l’enregistrement a été diffusé sur les réseaux sociaux en janvier, soutenu par un compte Instagram populaire dont les publications ont suscité des milliers de commentaires, la crise a propulsé l’école sous les projecteurs nationaux.

L'audio a été amplifié par le militant DeRay McKesson, qui a exigé le licenciement d'Eiswert auprès de ses près d'un million de followers sur X. Lorsque les accusations ont fait surface, il a admis qu'il avait été trompé.

« Je continue d'être préoccupé par les dégâts causés par ces actions », a déclaré Billy Burke, directeur exécutif du syndicat représentant Eiswert, en faisant référence à l'enregistrement.

Cette manipulation intervient alors que plusieurs écoles américaines ont eu du mal à contenir la pornographie deepfake basée sur l'IA, ce qui a conduit au harcèlement des étudiants en l'absence de législation fédérale.

Scott Shellenberger, procureur de l'État du comté de Baltimore, a déclaré lors d'une conférence de presse que l'incident de Pikesville mettait en évidence la nécessité de « mettre la loi à jour avec la technologie ».

Son bureau poursuit Darien pour quatre chefs d'accusation, dont celui de perturbation des activités scolaires.

« Un million de directeurs »

Les enquêteurs ont lié l'audio au directeur sportif en partie en le connectant à l'adresse e-mail qui l'avait initialement distribué.

La police affirme que cette prétendue affaire de diffamation est intervenue en représailles à une enquête ouverte par Eiswert en décembre pour savoir si Darien avait autorisé un paiement illégitime à un entraîneur qui était également son colocataire.

Darien a effectué des recherches d'outils d'IA via le réseau de l'école avant la sortie de l'audio, et il utilisait des « grands modèles de langage », selon les documents d'accusation.

Un professeur de l'Université du Colorado qui a analysé l'audio pour la police a conclu qu'il « contenait des traces de contenu généré par l'IA avec un montage humain après coup ».

Les enquêteurs ont également consulté Farid, écrivant que l'expert californien a découvert qu'il avait été « manipulé et que plusieurs enregistrements avaient été assemblés à l'aide d'un logiciel inconnu ».

Le contenu généré par l'IA – et en particulier l'audio, qui, selon les experts, est particulièrement difficile à repérer – a déclenché une alarme nationale en janvier lorsqu'un faux appel automatisé se faisant passer pour Biden a exhorté les habitants du New Hampshire à ne pas voter aux primaires de l'État.

« Cela a un impact sur tout, des économies entières aux démocraties, en passant par le directeur du lycée », a déclaré Farid à propos de l'utilisation abusive de la technologie.

Le cas d'Eiswert a été un signal d'alarme à Pikesville, révélant à quel point la désinformation peut ébranler même « une communauté très unie », a déclaré Parker Bratton, l'entraîneur de golf de l'école.

« Il y a un président. Il y a un million de directeurs. Les gens se demandent : 'Qu'est-ce que cela signifie pour moi ? Quelles sont les conséquences potentielles pour moi quand quelqu'un décide de mettre fin à ma carrière ?' »

« Nous ne pourrons jamais échapper à cette histoire. »