Qu’est-ce qui ne va pas avec cette image? Le programme d’analyse du visage aide à trouver des réponses

Les logiciels de reconnaissance faciale sont couramment utilisés comme contrôleur d’accès pour accéder à des sites Web et à des appareils électroniques sécurisés, mais que se passerait-il si quelqu’un pouvait le vaincre en portant simplement un masque ressemblant au visage d’une autre personne ? Une étude récemment publiée par le National Institute of Standards and Technology (NIST) révèle l’état actuel de l’art des logiciels conçus pour détecter ce type d’attaque par usurpation d’identité.

La nouvelle étude apparaît avec une autre qui évalue la capacité du logiciel à signaler des problèmes potentiels avec une photographie ou une image numérique du visage, comme celle capturée pour être utilisée dans un passeport. Ensemble, les deux publications du NIST donnent un aperçu de l’efficacité avec laquelle les logiciels modernes de traitement d’images accomplissent une tâche de plus en plus importante : l’analyse des visages.

L’analyse des visages est distincte de la reconnaissance des visages, qui est peut-être un terme plus familier. D’une manière générale, la reconnaissance faciale vise à identifier une personne sur la base d’une image, tandis que l’analyse du visage s’intéresse à la caractérisation de l’image, par exemple en signalant les images qui sont elles-mêmes problématiques, que ce soit en raison d’une intention néfaste ou simplement d’erreurs dans la capture de la photo.

Les deux publications sont les premières à paraître sur le sujet depuis que le NIST a divisé son programme FRVT (Face Recognition Vendor Test) en deux volets, Face Recognition Technology Evaluation (FRTE) et Face Analysis Technology Evaluation (FATE). Les efforts impliquant le traitement et l’analyse d’images, comme le font les deux nouvelles publications, sont désormais classés sous la piste FATE.

Les tests technologiques dans les deux domaines visent à fournir des informations sur les capacités des algorithmes à informer les développeurs, les utilisateurs finaux, les processus de normalisation et les décideurs politiques.

« Un algorithme logiciel donné peut-il vous dire s’il y a un problème avec une image de visage ? » a déclaré Mei Ngan, informaticien du NIST. « Par exemple, les yeux de la personne sont-ils fermés ? L’image est-elle floue ? L’image est-elle en fait un masque qui ressemble au visage d’une autre personne ? C’est le genre de défauts que certains développeurs prétendent que leur logiciel peut détecter, et la piste FATE s’en préoccupe. évaluer ces allégations.

Ngan est l’auteur de la première étude, Face Analysis Technology Evaluation (FATE) Part 10: Performance of Passive, Software-Based Presentation Attack Detection (PAD) Algorithms, qui a évalué la capacité des algorithmes d’analyse de visage à détecter si ces problèmes constituaient une preuve de une attaque d’usurpation d’identité, appelée PAD.

L’équipe de recherche a évalué 82 algorithmes logiciels soumis volontairement par 45 développeurs uniques. Les chercheurs ont testé le logiciel avec deux scénarios différents : l’usurpation d’identité ou la tentative de ressembler à une autre personne spécifique ; et l’évasion, ou essayer d’éviter de se ressembler.

L’équipe a évalué les algorithmes avec neuf types d’attaques de présentation, avec des exemples incluant une personne portant un masque sophistiqué conçu pour imiter le visage d’une autre personne et d’autres attaques plus simples telles que tenir une photo d’une autre personne devant l’appareil photo ou porter un masque N95 qui se cachait. une partie du visage du porteur.

Les résultats variaient considérablement selon les algorithmes PAD, et Ngan a noté une chose : les algorithmes de certains développeurs ont bien fonctionné pour détecter un type donné d’attaque de présentation dans les images, mais aucun n’a pu détecter tous les types d’attaque testés.

« Seul un petit pourcentage de développeurs pourrait raisonnablement prétendre détecter certaines attaques de présentation à l’aide de logiciels », a-t-elle déclaré. « Les algorithmes de certains développeurs pouvaient détecter deux ou trois types, mais aucun ne les captait tous. »

Parmi les autres conclusions, on a constaté que même les algorithmes PAD les plus performants fonctionnaient mieux en tandem.

« Nous avons demandé si cela réduirait le taux d’erreur si vous combiniez les résultats de différents algorithmes. Il s’avère que cela peut être une bonne idée », a déclaré Ngan. « Lorsque nous avons choisi quatre des algorithmes les plus performants lors du test d’usurpation d’identité et fusionné leurs résultats, nous avons constaté que le groupe faisait mieux que n’importe lequel d’entre eux seul. »

Les types d’algorithmes que Ngan et ses co-auteurs ont évalués ont des applications dans les casinos, par exemple, où un compteur de cartes à qui l’entrée a été refusée tente de se faufiler en se déguisant. Mais la piste FATE évalue également des algorithmes qui servent à des fins plus quotidiennes, comme vérifier si votre nouvelle photo d’identité pourrait être rejetée. C’est ce qu’a exploré la deuxième des nouvelles études du NIST, Face Analysis Technology Evaluation (FATE) Part 11: Face Image Quality Vector Assessment: Specific Image Defect Detection.

« Si vous entrez dans une pharmacie et obtenez une photo d’identité, vous voulez être sûr que votre demande ne sera pas rejetée parce qu’il y a un problème avec la photo », a déclaré l’auteur de l’étude Joyce Yang, mathématicienne du NIST. « Les photos floues constituent un problème évident, mais il peut également y avoir des problèmes de contre-jour ou simplement du port de lunettes. Nous avons exploré des algorithmes créés pour signaler les problèmes qui rendent une photo non conforme aux exigences du passeport. »

L’évaluation était la première du genre dans le cadre de la piste FATE, et l’équipe du NIST a reçu sept algorithmes de cinq développeurs. L’étude a évalué les algorithmes sur 20 mesures de qualité différentes, telles que la sous-exposition et l’uniformité de l’arrière-plan, toutes basées sur les normes de passeport internationalement acceptées.

Yang a déclaré que tous les algorithmes ont montré des résultats mitigés. Chacun avait ses points forts, obtenant de meilleurs résultats sur certaines des 20 mesures que sur d’autres. Les résultats serviront à élaborer une norme que le NIST contribue à développer : ISO/IEC 29794-5, qui définit les lignes directrices pour les mesures de qualité qu’un algorithme doit vérifier. Les résultats de la détection de défauts d’image spécifiques montrent dans quelle mesure les algorithmes effectuent ces vérifications.

Une chose que l’étude n’a pas évalué est la « qualité » d’une image, alors ne cherchez pas de jugements esthétiques de la part de votre photomaton.

« Nous ne décidons pas si l’image elle-même est de bonne qualité », a-t-elle déclaré. « Nous regardons simplement si l’analyse de l’image est correcte. »