Échec de la reconnaissance faciale dans les supermarchés : pourquoi les systèmes automatisés doivent donner la priorité au facteur humain

L'incident d'une femme mal identifiée par la technologie de reconnaissance faciale dans un supermarché de Rotorua n'aurait pas dû surprendre.

Lorsque Foodstuffs North Island a annoncé son intention de tester cette technologie en février, dans le cadre d'une stratégie de lutte contre la criminalité dans le commerce de détail, les experts en technologie et en protection de la vie privée ont immédiatement exprimé leurs inquiétudes.

En particulier, le risque de discrimination envers les femmes maories et les femmes de couleur a été évoqué, et est désormais confirmé par ce qui est arrivé début avril à Te Ani Solomon.

S'adressant aux médias cette semaine, Solomon a déclaré qu'elle pensait que l'origine ethnique était un « facteur important » dans son identification erronée. « Malheureusement, ce sera le cas de nombreux Kiwis si nous n'avons pas de règles et de réglementations à ce sujet. »

La réponse de l'entreprise de supermarchés selon laquelle il s'agissait d'un « véritable cas d'erreur humaine » ne répond pas aux questions plus profondes concernant une telle utilisation de l'IA et des systèmes automatisés.

Décisions automatisées et actions humaines

La reconnaissance faciale automatisée est souvent abordée dans le résumé, comme une pure correspondance de modèles algorithmiques, l'accent étant mis sur l'évaluation de l'exactitude et de l'exactitude.

Il s’agit là, à juste titre, de priorités importantes pour les systèmes traitant des données biométriques et de la sécurité. Mais avec une attention aussi cruciale portée aux résultats des décisions automatisées, il est facile de négliger les préoccupations concernant la manière dont ces décisions sont appliquées.

Les concepteurs utilisent le terme « contexte d'utilisation » pour décrire les conditions de travail quotidiennes, les tâches et les objectifs d'un produit. Avec la technologie de reconnaissance faciale dans les supermarchés, le contexte d’utilisation va bien au-delà des préoccupations traditionnelles de conception telles que l’ergonomie ou la convivialité.

Cela nécessite de réfléchir à la manière dont les notifications d'intrusion automatisées déclenchent des réponses en magasin, aux protocoles de gestion de ces réponses et à ce qui se passe lorsque les choses tournent mal. Il ne s’agit pas de simples problèmes de technologie ou de données.

Cette perspective nous aide à comprendre et à équilibrer l’impact des interventions d’ingénierie et de conception à différents niveaux d’un système.

Investir dans l’amélioration de la précision des prédictions semble une priorité évidente pour les systèmes de reconnaissance faciale. Mais cela doit être considéré dans un contexte d’utilisation plus large, dans lequel les dommages causés par un petit nombre de prédictions erronées l’emportent sur les améliorations marginales des performances ailleurs.

Répondre à la criminalité dans le commerce de détail

La Nouvelle-Zélande n'est pas la seule à connaître une augmentation des vols à l'étalage et des comportements violents dans les magasins. Au Royaume-Uni, cela a été décrit comme une « crise », l'agression contre un employé du commerce de détail étant désormais une infraction pénale à part entière.

La police canadienne consacre des ressources supplémentaires à la « répression du vol à l'étalage ». Et en Californie, les géants de la vente au détail Walmart et Target font pression pour que les sanctions soient renforcées en cas de délits dans le commerce de détail.

Bien que ces problèmes soient liés à la hausse du coût de la vie, le groupe industriel Retail NZ a pointé du doigt le crime organisé à la recherche de profits comme étant le principal facteur.

La couverture sensationnelle utilisant des images de sécurité de vols et d'agressions effrontées dans les magasins influence sans aucun doute la perception du public. Mais une tendance est difficile à mesurer en raison du manque de données cohérentes et impartiales sur les vols à l'étalage et les délinquants.

On estime que 15 à 20 % de la population néo-zélandaise est touchée par l’insécurité alimentaire, un problème fortement associé à l’appartenance ethnique et à la situation socio-économique. Les liens entre le coût de la vie, l’insécurité alimentaire et la distribution sur le marché noir des produits alimentaires volés sont probablement complexes et nuancés.

Il convient donc d'être prudent lors de l'évaluation des causes et des effets, compte tenu des risques de préjudice et des implications pour la société civile d'une évolution vers une surveillance constante dans les espaces de vente au détail.

IA et préjugés humains

Il est louable que Foodstuffs ait collaboré avec le commissaire à la protection de la vie privée et ait fait preuve de transparence quant aux garanties en matière de protocoles de collecte et de suppression de données biométriques. Ce qui manque, c'est plus de clarté sur les protocoles de réponse de sécurité dans les magasins.

Il ne s’agit pas uniquement d’une question de consentement des clients aux caméras de reconnaissance faciale. Les clients doivent également savoir ce qui se passe lorsqu'une notification d'intrusion est émise, ainsi que le processus de résolution des litiges en cas d'identification erronée.

Les recherches suggèrent que les décideurs humains peuvent hériter des préjugés des décisions prises par l’IA. Dans des situations de stress accru et de risque de violence, combiner la reconnaissance faciale automatisée avec un jugement humain ad hoc est potentiellement dangereux.

Plutôt que d’isoler et de blâmer les travailleurs individuels ou les composants technologiques comme des points de défaillance uniques, il faut mettre davantage l’accent sur la résilience et la tolérance aux erreurs dans l’ensemble du système.

Les erreurs de l’IA et les erreurs humaines ne peuvent être entièrement évitées. Les protocoles de sécurité de l'IA avec « les humains dans la boucle » nécessitent des garanties plus rigoureuses qui respectent les droits des clients et protègent contre les stéréotypes.

Achats et surveillance

Les supermarchés australiens ont répondu à la criminalité dans le commerce de détail par une surveillance technologique manifeste : des caméras corporelles distribuées au personnel (également désormais adoptées par Woolworths en Nouvelle-Zélande), un suivi numérique des mouvements des clients dans les magasins, des serrures automatisées pour les chariots et des portes de sortie pour empêcher les gens de partir sans payer.

Les supermarchés pourraient désormais être à l’avant-garde d’un changement technologique dans l’expérience d’achat. L’évolution vers une culture de surveillance dans laquelle chaque client est surveillé comme un voleur potentiel n’est pas sans rappeler l’évolution de la sécurité aéroportuaire mondiale après le 11 septembre.

Les concepteurs de produits, les ingénieurs logiciels et les scientifiques des données néo-zélandais seront très attentifs aux résultats de l'examen par le commissaire à la vie privée de l'essai de reconnaissance faciale des produits alimentaires.

Le vol et la violence constituent un problème urgent auquel les supermarchés doivent s’attaquer. Mais ils doivent maintenant montrer que les systèmes de surveillance numérique constituent une solution plus responsable, éthique et efficace que d’éventuelles approches alternatives.

Cela signifie que reconnaître que la technologie nécessite une conception centrée sur l’humain pour éviter les abus, les préjugés et les préjudices. En retour, cela peut contribuer à orienter les cadres et normes réglementaires, à éclairer le débat public sur l’utilisation acceptable de l’IA et à soutenir le développement de systèmes automatisés plus sûrs.

Cet article est republié à partir de The Conversation sous une licence Creative Commons. Lisez l'article original.