La lutte organisée contre les discriminations automatisées

Dans les administrations publiques européennes, les systèmes d’intelligence artificielle (IA) et de prise de décision automatisée (ADM) sont déjà largement utilisés.

Ces systèmes, souvent construits sur des algorithmes opaques de type « boîte noire », reconnaissent nos visages en public, organisent des programmes de chômage et prévoient même les notes aux examens. Leur tâche est de prédire le comportement humain et de prendre des décisions, même dans des domaines sensibles tels que la protection sociale, la santé et les services sociaux.

Comme on le voit aux États-Unis, où le maintien de l’ordre algorithmique a été facilement adopté, ces décisions sont intrinsèquement influencées par des biais et des erreurs sous-jacents. Cela peut avoir des conséquences désastreuses : dans le Michigan, en juin 2020, un homme noir a été arrêté, interrogé et détenu pendant la nuit pour un crime qu'il n'avait pas commis. Il avait été identifié par erreur par un système d'IA.

Ces systèmes sont formés sur des données préexistantes créées par l’homme, qui sont imparfaites par leur nature même. Cela signifie qu’ils peuvent perpétuer les formes existantes de discrimination et de préjugés, conduisant à ce que Virginia Eubanks a appelé « l’automatisation des inégalités ».

Tenir l’IA responsable

L’adoption généralisée de ces systèmes soulève une question urgente : que faudrait-il pour qu’un algorithme rende compte de ses décisions ?

Cela a été testé récemment au Canada lorsque les tribunaux ont ordonné à une compagnie aérienne de verser une indemnisation à un client qui avait agi sur la base de mauvais conseils donnés par son chatbot alimenté par l'IA. La compagnie aérienne a tenté de réfuter cette affirmation en affirmant que le chatbot était « responsable de ses propres actions ».

En Europe, une initiative institutionnelle a été prise pour réglementer l’utilisation de l’IA, sous la forme de la loi sur l’intelligence artificielle récemment adoptée.

Cette loi vise à réglementer les grands et puissants systèmes d’IA, en les empêchant de constituer des menaces systémiques tout en protégeant les citoyens contre leur éventuelle utilisation abusive. Le lancement de la loi a été accompagné d'un large éventail d'actions directes, d'initiatives et de campagnes lancées par des organisations de la société civile dans tous les États membres de l'UE.

Cette résistance croissante aux systèmes d’IA problématiques a gagné en ampleur et en visibilité ces dernières années. Cela a également influencé les choix des régulateurs de manière cruciale, en les obligeant à introduire des mesures garantissant les droits fondamentaux.

Le projet sur l'erreur humaine

Dans le cadre du Human Error Project, basé à l'Université de Saint-Gall en Suisse, nous avons étudié la manière dont les acteurs de la société civile résistent à la montée de la discrimination automatisée en Europe. Notre projet se concentre sur les erreurs de l’IA, un terme générique qui englobe les préjugés, la discrimination et l’irresponsabilité des algorithmes et de l’IA.

Notre dernier rapport de recherche s'intitule « La lutte de la société civile contre l'injustice algorithmique en Europe ». Basé sur des entretiens avec des militants et des représentants d’organisations de la société civile, il explore la manière dont les organisations européennes de défense des droits numériques donnent un sens aux erreurs de l’IA, comment elles remettent en question l’utilisation des systèmes d’IA, et souligne l’urgence de ces débats.

Nos recherches ont révélé un panorama préoccupant, car la plupart des personnes que nous avons interrogées partageaient le point de vue désormais largement accepté avancé par les spécialistes de l’IA : l’IA peut souvent être raciste, discriminatoire et réductionniste lorsqu’il s’agit de donner un sens aux êtres humains.

Beaucoup de nos personnes interrogées ont également souligné que nous ne devrions pas considérer les erreurs d’IA comme un problème purement technologique. Il s’agit plutôt de symptômes de problèmes sociaux systémiques plus vastes antérieurs aux récents développements technologiques.

La police prédictive en est un exemple clair. Parce que ces systèmes sont basés sur des données policières antérieures, potentiellement falsifiées ou corrompues, ils perpétuent les formes existantes de discrimination raciale, conduisant souvent au profilage racial et même à des arrestations illégales.

L'IA a déjà un impact sur votre vie quotidienne

Pour les acteurs de la société civile européenne, l’un des principaux problèmes est le manque de sensibilisation du public au fait que l’IA est utilisée pour prendre des décisions dans de nombreux domaines de leur vie. Même lorsque les gens en sont conscients, il est souvent difficile de savoir comment ces systèmes fonctionnent ou qui devrait être tenu responsable lorsqu’ils prennent une décision injuste.

Ce manque de visibilité signifie que la lutte pour la justice algorithmique n’est pas seulement une question politique mais aussi symbolique : elle remet en question nos idées mêmes d’objectivité et d’exactitude.

Les débats sur l’IA sont notoirement dominés par le battage médiatique et la panique, comme le montre notre premier rapport de recherche. Par conséquent, les organisations de la société civile européenne sont contraintes de poursuivre deux objectifs : parler clairement de l’ISS et remettre en question la vision de l’IA comme panacée aux problèmes sociaux.

L'importance de nommer le problème est évidente dans notre nouveau rapport, dans lequel les personnes interrogées hésitaient même à utiliser des expressions telles que « éthique de l'IA » ou ne mentionnaient pas du tout « IA ». Au lieu de cela, ils ont utilisé des termes alternatifs tels que « statistiques avancées », « prise de décision automatisée » ou « systèmes ADM ».

Maîtriser la grande technologie

Outre la sensibilisation du grand public, l’un des principaux enjeux est de freiner le pouvoir dominant des grandes technologies. Plusieurs organisations que nous avons contactées ont été impliquées dans des initiatives liées à la loi européenne sur l'IA et ont, dans certains cas, joué un rôle direct en mettant en lumière les problèmes et en comblant les lacunes que les entreprises technologiques pourraient exploiter.

Selon certaines organisations, il existe des éléments, tels que la reconnaissance faciale biométrique dans les espaces publics, pour lesquels une simple interdiction suffirait. D’autres sont même sceptiques à l’égard de la législation dans son ensemble, estimant que la réglementation ne peut à elle seule résoudre tous les problèmes posés par la diffusion continue des systèmes algorithmiques.

Nos recherches montrent que, pour exploiter la puissance des systèmes algorithmiques, nous devons cesser de considérer les erreurs de l’IA comme un problème technologique et commencer à les considérer comme un problème politique. Ce qu’il faut corriger, ce n’est pas un bug technologique du système, mais les inégalités systémiques que ces systèmes perpétuent.