L’IA de police prédictive est en augmentation. Le rendre responsable au public pourrait freiner ses effets nuisibles
Le thriller de science-fiction de 2002 « rapport minoritaire » représentait un avenir dystopique où une unité de police spécialisée a été chargée d’arrêter des personnes pour des crimes qu’ils n’avaient pas encore commis. Réalisé par Steven Spielberg et basé sur une nouvelle de Philip K. Dick, le drame tournait autour de la « précrime » – un système informé par un trio de médiums, ou des « précogs », qui anticitait les futurs homicides, permettant aux policiers d’intervenir et d’empêcher les assaillants potentiels de remporter la vie de leurs cibles.
Le film sonde sur de lourdes questions éthiques: comment quelqu’un peut-il être coupable d’un crime qu’ils n’ont pas encore commis? Et que se passe-t-il lorsque le système se trompe?
Bien qu’il n’y ait pas de «précog» qui voit tout ce qui est en train de suivre le «rapport de la minorité», est devenu une réalité encore plus rapide que ses créateurs l’imaginaient. Depuis plus d’une décennie, les services de police du monde entier utilisent des systèmes basés sur les données visant à prédire quand et où les crimes pourraient se produire et qui pourraient les commettre.
Loin d’une vanité abstraite ou futuriste, la police prédictive est une réalité. Et les analystes du marché prédisent un boom pour la technologie.
Étant donné les défis de l’utilisation de l’apprentissage automatique prédictif efficacement et équitablement, la police prédictive soulève des préoccupations éthiques importantes. En l’absence de correctifs technologiques à l’horizon, il existe une approche pour répondre à ces préoccupations: traiter l’utilisation du gouvernement de la technologie comme une question de responsabilité démocratique.
Histoire troublante
La police prédictive repose sur l’intelligence artificielle et l’analyse des données pour anticiper une activité criminelle potentielle avant que cela ne se produise. Il peut impliquer d’analyser de grands ensembles de données tirés des rapports de criminalité, d’arrêter les dossiers et des informations sociales ou géographiques pour identifier les modèles et les prévisions où des crimes peuvent survenir ou qui peuvent être impliqués.
Les organismes d’application de la loi ont utilisé l’analyse des données pour suivre les larges tendances pendant de nombreuses décennies. Les puissantes technologies d’IA d’aujourd’hui, cependant, adoptent de grandes quantités de données de surveillance et de rapport sur la criminalité pour fournir des analyses beaucoup plus fines.
Les services de police utilisent ces techniques pour aider à déterminer où ils devraient concentrer leurs ressources. La prédiction basée sur le lieu se concentre sur l’identification des emplacements à haut risque, également appelés points chauds, où les crimes sont statistiquement plus susceptibles de se produire. La prédiction basée sur la personne, en revanche, tente de signaler les personnes qui sont considérées comme à haut risque de commettre ou de devenir victimes de criminalité.
Ces types de systèmes ont fait l’objet de préoccupations publiques importantes. Dans le cadre d’un soi-disant programme de «police dirigée par le renseignement» dans le comté de Pasco, en Floride, le département du shérif a compilé une liste de personnes considérées comme susceptibles de commettre des crimes et a ensuite envoyé à plusieurs reprises les députés chez eux. Plus de 1 000 résidents de Pasco, dont des mineurs, ont été soumis à des visites aléatoires des policiers et ont été cités pour des choses telles que les numéros de boîte aux lettres manquants et l’herbe envahie.
Quatre résidents ont poursuivi le comté en 2021, et l’année dernière, ils sont parvenus à un règlement dans lequel le bureau du shérif a admis qu’il avait violé les droits constitutionnels des résidents à la vie privée et un traitement égal en vertu de la loi. Le programme a depuis été interrompu.
Ce n’est pas seulement un problème de Floride. En 2020, Chicago a incarné sa «liste de sujets stratégiques», un système où la police a utilisé des analyses pour prédire quels délinquants précédents étaient susceptibles de commettre de nouveaux crimes ou de devenir victimes de futures tirs. En 2021, le service de police de Los Angeles a interrompu son utilisation de Predpol, un logiciel conçu pour prévoir les points chauds de la criminalité, mais a été critiqué pour des taux de faible précision et renforçant les biais raciaux et socio-économiques.
Innovations nécessaires ou dépassement dangereux?
L’échec de ces programmes de haut niveau met en évidence une tension critique: même si les organismes d’application de la loi plaident souvent des outils dirigés par l’IA pour la sécurité publique, les groupes de défense des droits civils et les chercheurs ont soulevé des préoccupations concernant les violations de la confidentialité, les questions de responsabilité et le manque de transparence. Et malgré ces retraites de haut niveau de la police prédictive, de nombreux petits services de police utilisent la technologie.
La plupart des services de police américains manquent de politiques claires sur la prise de décision algorithmique et ne donnent pas peu ou pas de divulgation sur la façon dont les modèles prédictifs qu’ils utilisent sont développés, formés ou surveillés pour une précision ou un biais. Une analyse de l’institution de Brookings a révélé que dans de nombreuses villes, les gouvernements locaux n’avaient aucune documentation publique sur le fonctionnement des logiciels de police prédictifs, quelles données ont été utilisées ou sur la façon dont les résultats ont été évalués.
Cette opacité est ce qui est connu dans l’industrie comme une «boîte noire». Il empêche la surveillance indépendante et soulève de sérieuses questions sur les structures entourant la prise de décision dirigée par l’IA. Si un citoyen est signalé comme à haut risque par un algorithme, quel recours a-t-il? Qui supervise l’équité de ces systèmes? Quels mécanismes de surveillance indépendants sont disponibles?
Ces questions stimulent des débats controversés dans les communautés quant à savoir si la police prédictive en tant que méthode devrait être réformée, plus étroitement réglementée ou abandonnée. Certaines personnes considèrent ces outils comme des innovations nécessaires, tandis que d’autres les considèrent comme une dangereuse excessif.
Une meilleure façon à San Jose
Mais il est prouvé que les outils basés sur les données fondés sur les valeurs démocratiques de la procédure régulière, de la transparence et de la responsabilité peuvent offrir une alternative plus forte aux systèmes de police prédictifs d’aujourd’hui. Et si le public pouvait comprendre comment fonctionnent ces algorithmes, sur quelles données sur lesquelles ils dépendent et quels garanties existent pour éviter les résultats discriminatoires et les abus de la technologie?
La ville de San Jose, en Californie, s’est lancée dans un processus qui vise à accroître la transparence et la responsabilité de son utilisation des systèmes d’IA. San Jose maintient un ensemble de principes d’IA exigeant que tous les outils d’IA utilisés par le gouvernement de la ville soient efficaces, transparents au public et équitables dans leurs effets sur la vie des gens. Les services de la ville sont également tenus d’évaluer les risques des systèmes d’IA avant de les intégrer dans leurs opérations.
S’ils sont pris correctement, ces mesures peuvent ouvrir efficacement la boîte noire, réduisant considérablement le degré auquel les sociétés d’IA peuvent masquer leur code ou leurs données derrière des choses telles que les protections pour les secrets commerciaux. L’activation du public des données de formation peut révéler des problèmes tels que les biais raciaux ou économiques, qui peuvent être atténués mais sont extrêmement difficiles, voire impossibles, à éradiquer.
La recherche a montré que lorsque les citoyens estiment que les institutions gouvernementales agissent de manière équitable et de manière transparente, elles sont plus susceptibles de s’engager dans la vie civique et de soutenir les politiques publiques. Les organismes d’application de la loi sont susceptibles d’avoir des résultats plus importants s’ils traitent la technologie comme un outil – plutôt qu’un substitut – pour la justice.