De nouveaux outils utilisent les « empreintes digitales » de l'IA pour détecter les photos et vidéos altérées
Les réseaux d'intelligence artificielle devenant de plus en plus performants et plus accessibles, les photos et vidéos « deepfake » manipulées numériquement sont de plus en plus difficiles à détecter. De nouvelles recherches menées par l'Université de Binghamton, Université d'État de New York, décomposent les images à l'aide de techniques d'analyse du domaine fréquentiel et recherchent des anomalies qui pourraient indiquer qu'elles sont générées par l'IA.
Dans un article publié dans Technologies de rupture dans les sciences de l'information VIIINihal Poredi, doctorant, Deeraj Nagothu et le professeur Yu Chen du département de génie électrique et informatique de Binghamton ont comparé des images réelles et fausses au-delà des signes révélateurs de manipulation d'images tels que des doigts allongés ou un texte de fond incompréhensible. Monica Sudarsan, étudiante en master, et le professeur Enoch Solomon de l'université d'État de Virginie ont également collaboré à l'étude.
L'équipe a créé des milliers d'images avec des outils d'IA générative populaires tels qu'Adobe Firefly, PIXLR, DALL-E et Google Deep Dream, puis les a analysées à l'aide de techniques de traitement du signal afin de comprendre leurs caractéristiques de domaine de fréquence. La différence entre les caractéristiques du domaine de fréquence des images générées par l'IA et des images naturelles est à la base de leur différenciation à l'aide d'un modèle d'apprentissage automatique.
En comparant des images à l'aide d'un outil appelé Generative Adversarial Networks Image Authentication (GANIA), les chercheurs peuvent repérer des anomalies (connues sous le nom d'artefacts) en raison de la manière dont l'IA génère les faux. La méthode la plus courante pour créer des images d'IA est le suréchantillonnage, qui clone les pixels pour agrandir la taille des fichiers, mais laisse des empreintes digitales dans le domaine fréquentiel.
« Lorsque vous prenez une photo avec un véritable appareil photo, vous obtenez des informations du monde entier : pas seulement de la personne, de la fleur, de l'animal ou de la chose que vous voulez photographier, mais toutes sortes d'informations environnementales y sont intégrées », a déclaré Chen.
« Avec l'IA générative, les images se concentrent sur ce que vous lui demandez de générer, quel que soit le niveau de détail. Il n'y a aucun moyen de décrire, par exemple, la qualité de l'air, la façon dont souffle le vent ou toutes les petites choses qui constituent des éléments d'arrière-plan. »
Nagothu a ajouté : « Bien qu'il existe de nombreux modèles d'IA émergents, l'architecture fondamentale de ces modèles reste pour l'essentiel la même. Cela nous permet d'exploiter la nature prédictive de la manipulation de son contenu et de tirer parti d'empreintes digitales uniques et fiables pour le détecter. »
Le document de recherche explore également les moyens par lesquels GANIA pourrait être utilisé pour identifier les origines de l'IA d'une photo, ce qui limite la propagation de la désinformation via des images deepfake.
« Nous souhaitons pouvoir identifier les « empreintes digitales » de différents générateurs d’images IA », a déclaré Poredi. « Cela nous permettrait de créer des plateformes permettant d’authentifier le contenu visuel et de prévenir tout événement indésirable associé aux campagnes de désinformation. »
En plus des images deepfake, l'équipe a développé une technique pour détecter les faux enregistrements audio-vidéo basés sur l'IA. L'outil développé, baptisé « DeFakePro », exploite les empreintes environnementales appelées signal de fréquence du réseau électrique (ENF) créé à la suite de légères fluctuations électriques dans le réseau électrique. Tel un bourdonnement de fond subtil, ce signal est naturellement intégré dans les fichiers multimédias lors de leur enregistrement.
En analysant ce signal, propre à l’heure et au lieu d’enregistrement, l’outil DeFakePro peut vérifier si l’enregistrement est authentique ou s’il a été falsifié. Cette technique est très efficace contre les deepfakes et explore plus en détail comment elle peut sécuriser les réseaux de surveillance intelligents à grande échelle contre de telles attaques de falsification basées sur l’IA. Cette approche pourrait être efficace dans la lutte contre la désinformation et la fraude numérique dans notre monde de plus en plus connecté.
« La désinformation est l’un des plus grands défis auxquels la communauté internationale est confrontée aujourd’hui », a déclaré Poredi. « L’utilisation généralisée de l’IA générative dans de nombreux domaines a conduit à son utilisation abusive. Associée à notre dépendance aux médias sociaux, cette situation a créé un point d’éclair propice à une catastrophe de désinformation. Cela est particulièrement évident dans les pays où les restrictions sur les médias sociaux et la liberté d’expression sont minimes. Il est donc impératif de garantir la fiabilité des données partagées en ligne, en particulier les données audiovisuelles. »
Bien que les modèles d’IA générative aient été utilisés à mauvais escient, ils contribuent également de manière significative aux progrès de la technologie de l’imagerie. Les chercheurs veulent aider le public à faire la différence entre les faux et les vrais contenus, mais il peut s’avérer difficile de se tenir au courant des dernières innovations.
« L'intelligence artificielle évolue si rapidement qu'une fois que vous avez développé un détecteur de deepfakes, la prochaine génération de cet outil d'IA prend en compte ces anomalies et les corrige », a déclaré Chen. « Notre travail consiste à essayer de faire quelque chose de différent. »
