L’outil vocal d’IA « abusé » alors que les deepfakes inondent le forum Web

Une entreprise britannique d’intelligence artificielle a déclaré qu’elle repensait ses « garanties » après que son outil audio ait été utilisé pour cloner des voix de célébrités et leur faire dire des insultes racistes et homophobes.

Eleven Labs a tweeté lundi que cela avait été un « week-end fou » et a admis avoir trouvé « un nombre croissant de cas d’abus de clonage de voix » quelques jours seulement après avoir publié une version de démonstration de l’outil.

La société n’a pas donné de détails sur les cas, mais le forum Internet 4chan a été inondé de deepfakes de voix de célébrités utilisant des insultes racistes, sexistes et homophobes.

De nombreux messages mentionnaient Eleven Labs, certains utilisateurs affirmant avoir été bannis par la société et d’autres fournissant des liens vers la version de démonstration de l’outil.

Parmi les célébrités venues se faire soigner sur le forum, connu pour son humour offensant, figuraient les stars des films Harry Potter et les réalisateurs Quentin Tarantino et George Lucas.

Eleven Labs a vanté sa technologie de clonage de voix comme ayant « le potentiel de révolutionner la façon dont le contenu est produit, livré et interagi avec dans une gamme d’industries ».

Dans son matériel publicitaire, la firme a produit une vidéo de l’acteur Leonardo DiCaprio exprimé par plusieurs autres célébrités.

La société a tweeté que sa technologie avait été « massivement appliquée à une utilisation positive », mais a déclaré que « des garanties supplémentaires » étaient nécessaires.

Parmi les options envisagées, il y avait la vérification manuelle de chaque demande de clonage ou le resserrement des vérifications de compte.

Les outils d’IA sont formés sur de vastes étendues de données (images, audio, texte ou vidéo) qui leur permettent de prédire essentiellement le résultat souhaité par l’utilisateur.

L’outil de texte ChatGPT a conquis le monde avec sa capacité à générer des essais à un niveau relativement élevé avec seulement quelques invites.

Des outils d’imagerie comme Dall-E 2 et Midjourney menacent de bouleverser le monde de l’art et du design avec leur capacité à générer des images complexes dans le style d’artistes célèbres.

Mais les critiques craignent depuis longtemps que la technologie de clonage, en particulier dans l’audio et la vidéo, ne conduise à un flot de deepfakes et de désinformation.

Et plusieurs sociétés d’IA font face à des poursuites judiciaires de la part de personnes qui prétendent que les entreprises ont violé le droit d’auteur en utilisant leur matériel comme base pour les modèles d’IA.