Les modèles d'IA pour la détection d'objets à distance sont vulnérables aux attaques physiques et numériques, selon une étude

Aujourd’hui, notre compréhension et notre évaluation des caractéristiques physiques du monde qui nous entoure reposent de moins en moins sur l’intelligence humaine et de plus en plus sur l’intelligence artificielle.

Les technologies de télédétection (RS) sont devenues des outils essentiels pour le renseignement gouvernemental, la surveillance environnementale, le transport autonome, la planification urbaine et la gestion des catastrophes. Mais le grand nombre d’images produites par les caméras distantes doivent être traitées et interprétées, et ces tâches sont de plus en plus déléguées à des modèles d’apprentissage profond (DL).

Les modèles DL peuvent traiter et interpréter les images beaucoup plus rapidement que les humains, et les progrès récents de l’IA n’ont fait qu’améliorer cette capacité au fil du temps. Malgré cette augmentation de l'efficacité, aucune étude n'a jamais tenté d'évaluer la robustesse globale et les vulnérabilités potentielles des modèles basés sur les réseaux neuronaux profonds (DNN) utilisés pour la détection d'objets et la classification d'images dans les images RS.

Pour résoudre ce problème, une équipe de scientifiques de l'Université polytechnique du Nord-Ouest et de l'Université polytechnique de Hong Kong a effectué un examen de toutes les études de recherche existantes sur la robustesse des modèles DL utilisés pour la détection et la classification d'objets à l'aide d'images RS et a développé une référence pour évaluer la performances de divers détecteurs de modèles DL (par exemple, versions YOLO, RetinaNet, FreeAnchor). Leur analyse a révélé plusieurs vulnérabilités des algorithmes DL pour la détection d’objets, qui pourraient être exploitées par des attaquants.

L'équipe a publié son avis dans le Journal de télédétection.

« Nous avons cherché à remédier au manque d'études approfondies sur la robustesse des modèles d'apprentissage profond utilisés dans les tâches de télédétection, en nous concentrant particulièrement sur la classification des images et la détection d'objets. Notre objectif était de comprendre les vulnérabilités de ces modèles à divers types de bruit, notamment contradictoires. bruit, et d'évaluer systématiquement leur robustesse naturelle et contradictoire », a déclaré Shaohui Mei, professeur à l'École d'information électronique de l'Université polytechnique du Nord-Ouest à Xi'an, en Chine et auteur principal de l'article de synthèse.

Plus spécifiquement, l’équipe a étudié les effets du bruit naturel et de diverses attaques sur les performances du modèle. Les scientifiques ont utilisé des sources de bruit naturelles, notamment du bruit salé-poivré et aléatoire, ainsi que de la pluie, de la neige et du brouillard, à différentes intensités pour tester la robustesse de la détection et de l'identification d'objets à l'aide de modèles DL.

L'équipe a également testé les performances des modèles à l'aide de diverses attaques numériques pour exploiter les vulnérabilités des modèles, notamment la méthode Fast Gradient Sign (FGSM), AutoAttack, Projected Gradient Descent, Carlini & Wagner et Momentum Iterative FGSM. Ils ont également déterminé les effets d'attaques physiques potentielles, où un patch pourrait être physiquement peint ou attaché à un objet ou à l'arrière-plan d'un objet pour altérer le modèle DL.

Les chercheurs ont découvert de nombreuses vulnérabilités dans les modèles DL qui pourraient être exploitées par des adversaires potentiels. « Les modèles d'apprentissage profond, malgré leurs puissantes capacités dans les applications de télédétection, sont sensibles à différents types de perturbations, y compris les attaques contradictoires. Il est crucial que les développeurs et les utilisateurs de ces technologies soient conscients de ces vulnérabilités et travaillent à l'amélioration de la robustesse des modèles pour garantir des performances fiables dans des conditions réelles », a déclaré Jiawei Lian, étudiant diplômé à l'École d'information électronique de la Northwestern Polytechnical University et auteur de l'article.

Pour aider d'autres chercheurs à améliorer la robustesse des modèles DL dans ces applications, les auteurs ont résumé les résultats de leur analyse sur divers modèles, types de bruit et attaques :

• La formation d'une attaque contradictoire partage de nombreuses similitudes avec la formation d'un réseau neuronal et est affectée par les mêmes facteurs que la formation de modèles, notamment les données de formation, les modèles de victimes (modèles d'apprentissage en profondeur utilisés pour générer des attaques contradictoires) et les stratégies d'optimisation.
• Les détecteurs faibles, comme YOLOv2, peuvent nécessiter seulement l'apprentissage d'informations limitées pour réussir à attaquer un modèle DL, mais l'attaque ne réussira généralement pas avec des détecteurs plus robustes.
• Des techniques telles que « momentum » et « dropout » peuvent augmenter l'efficacité d'une attaque. Une enquête sur les stratégies de formation et l’augmentation des tests pourrait améliorer la sécurité du modèle DNN.
• Les attaques physiques peuvent être aussi efficaces que les attaques numériques. Les vulnérabilités des modèles DL doivent être traduites en applications potentielles du monde réel, telles que l'attachement d'un correctif physique pour compromettre les algorithmes DL, qui pourraient exploiter ces faiblesses.
• Les chercheurs peuvent découvrir les mécanismes d’extraction de caractéristiques des modèles DL pour comprendre comment les adversaires pourraient manipuler et perturber le processus.
• L'arrière-plan d'un objet peut être manipulé pour altérer la capacité d'un modèle DL à détecter et identifier correctement un objet.
• Les attaques contradictoires utilisant des correctifs physiques en arrière-plan d'une cible peuvent être plus pratiques que l'attachement de correctifs aux cibles elles-mêmes.

L'équipe de recherche reconnaît que leur analyse ne fournit qu'un modèle pour améliorer la robustesse du modèle RS DL.

« [Our] prochaine étape[s] impliquent d’affiner davantage notre cadre d’analyse comparative et d’effectuer des tests plus approfondis avec une gamme plus large de modèles et de types de bruit. Notre objectif ultime est de contribuer au développement de modèles DL plus robustes et plus sécurisés pour RS, améliorant ainsi la fiabilité et l'efficacité de ces technologies dans des applications critiques telles que la surveillance environnementale, la réponse aux catastrophes et la planification urbaine », a déclaré Mei.

Xiaofei Wang, Yuru Su et Mingyang Ma de l'École d'information électronique de l'Université polytechnique du Nord-Ouest à Xi'an, en Chine, et Lap-Pui Chau du Département de génie électrique et électronique de l'Université polytechnique de Hong Kong ont également contribué à cette recherche.

Fourni par Journal de télédétection