Amélioration des modèles de recadrage automatique d'images avec des techniques antagonistes avancées

Le recadrage d'images est une tâche essentielle dans de nombreux contextes, des réseaux sociaux au commerce électronique en passant par les applications avancées de vision par ordinateur. Le recadrage permet de maintenir la qualité de l'image en évitant un redimensionnement inutile, qui peut dégrader l'image et consommer des ressources de calcul. Il est également utile lorsqu'une image doit être conforme à un rapport hauteur/largeur prédéterminé, comme dans les vignettes.

Au cours de la dernière décennie, les ingénieurs du monde entier ont développé divers modèles d'apprentissage automatique (ML) pour recadrer automatiquement les images. Ces modèles visent à recadrer une image d'entrée de manière à préserver ses parties les plus pertinentes.

Ces modèles peuvent toutefois commettre des erreurs et présenter des biais qui, dans le pire des cas, peuvent mettre les utilisateurs en danger juridique. Par exemple, en 2020, une action en justice a été intentée contre X (anciennement Twitter) parce que sa fonction de recadrage automatique masquait les informations de copyright dans une image retweetée.

Il est donc essentiel de comprendre la raison pour laquelle les modèles ML de recadrage d’images échouent afin de les former et de les utiliser en conséquence et d’éviter de tels problèmes.

Dans ce contexte, une équipe de recherche de l’Université Doshisha, au Japon, a entrepris de développer de nouvelles techniques pour générer des exemples contradictoires pour la tâche de recadrage d’images.

Comme expliqué dans leur article, publié dans Accès IEEE le 17 juin 2024, leurs méthodes peuvent introduire des perturbations bruyantes imperceptibles dans une image pour tromper les modèles et les amener à recadrer des régions qui correspondent aux intentions de l'utilisateur, même si le modèle d'origine l'aurait manqué.

Masatomo Yoshida, doctorant et premier auteur et chercheur principal de l'étude, a déclaré : « À notre connaissance, il existe très peu de recherches sur les attaques adverses contre les modèles de recadrage d'images, car la plupart des recherches précédentes se sont concentrées sur la classification et la détection d'images. Ces modèles doivent être affinés pour garantir qu'ils respectent les intentions des utilisateurs et éliminent autant que possible les biais lors du recadrage des images. »

Masatomo Yoshida et Haruto Namura de l'École supérieure des sciences et de l'ingénierie de l'Université Doshisha, à Kyoto, au Japon, et Masahiro Okuda de la Faculté des sciences et de l'ingénierie de l'Université Doshisha, ont également participé à l'étude.

Les chercheurs ont développé et mis en œuvre deux approches distinctes pour générer des exemples contradictoires : une approche boîte blanche et une approche boîte noire.

La méthode de la boîte blanche, nécessitant l'accès au fonctionnement interne du modèle cible, implique le calcul itératif des perturbations des images d'entrée en fonction des gradients du modèle.

En utilisant un modèle de prédiction du regard pour identifier les points saillants d'une image, cette approche manipule les cartes de saillance du regard pour obtenir des exemples contradictoires efficaces. Elle réduit considérablement la taille des perturbations, atteignant une taille minimale 62,5 % inférieure à celle des méthodes de base sur un ensemble de données d'images expérimentales.

L'approche de la boîte noire utilise l'optimisation bayésienne pour affiner efficacement l'espace de recherche et cibler des régions d'image spécifiques. Similaire à la stratégie de la boîte blanche, cette approche implique des procédures itératives basées sur des cartes de saillance du regard.

Au lieu d'utiliser des gradients internes, il utilise un estimateur de Parzen structuré en arborescence pour sélectionner et optimiser les coordonnées des pixels qui influencent la saillance du regard, produisant ainsi les images adverses souhaitées. Les techniques de boîte noire sont notamment plus largement applicables dans des scénarios réels et sont plus pertinentes dans les contextes de cybersécurité.

Les deux approches semblent prometteuses, d'après les résultats expérimentaux. Comme l'explique Haruto Namura, étudiant diplômé et participant à l'étude : « Nos résultats indiquent que nos méthodes non seulement surpassent les techniques existantes, mais présentent également un potentiel en tant que solutions efficaces pour des applications concrètes, comme celles sur des plateformes comme Twitter. »

Dans l’ensemble, cette étude représente une avancée significative vers des systèmes d’IA plus fiables, essentiels pour répondre aux attentes du public et gagner sa confiance. L’amélioration de l’efficacité de la génération d’exemples contradictoires pour le recadrage d’images propulsera la recherche en ML et inspirera des solutions à ses défis urgents.

Le professeur Masahiro Okuda, conseiller de Namura et Yoshida, conclut : « En identifiant les vulnérabilités des modèles d'IA de plus en plus déployés, nos recherches contribuent au développement de systèmes d'IA plus équitables et répondent au besoin croissant de gouvernance de l'IA. »