L’Espagne a combattu la lutte contre la violence entre les sexes. Et cela se traduit par des échecs mortels

Une femme nommée Lina est allée à la police en janvier dernier. Son ex -partner l’avait menacée à la maison, à Benalmádena, et au poste de police, elle a été interrogée et a enregistré son cas dans le système de surveillance intégral en cas de violence entre les sexes, connue sous le nom de Viogén. Ce système, basé sur un algorithme, a déterminé que Lina était une personne à risque « moyen ». Trois semaines plus tard, elle aurait été assassinée par son partenaire. Ce n’est pas la première fois que quelque chose comme ça se produit et montre que nous avons un problème grave avec notre dépendance potentielle à l’égard des algorithmes.

L’origine de Viogén. Le ministère de l’Intérieur a développé en 2007 le système de Viogén (surveillance intégrale en cas de violence de genre). Parmi ses objectifs, il y avait de faire une prédiction des risques et, en fonction de cette prédiction, de cette surveillance et de cette protection des victimes.

Comment ça marche. Le système est basé sur la collecte et l’analyse de diverses sources telles que les plaintes de police, les ordonnances de protection ou le casier judiciaire. Dans la plainte, par exemple, une série de questions sur l’épisode de l’agression, la situation de la victime, les enfants, le profil de l’agresseur ou la vulnérabilité aggravante, comme la dépendance économique sont posées.

Niveaux de risque. À partir de cette évaluation, l’un des quatre niveaux de risque est attribué à chaque cas (1 – bas, 2 – moyen, 3 – haut, 4 – extrême). Chacun d’eux implique des mesures spécifiques qui peuvent inclure de l’attribution des dispositifs de télécare-là aux commandes distantes. À un risque extrême, les femmes ont une surveillance de la police de 24 heures.

Viogén 2. Le système évolue depuis sa création et ces derniers mois, sa deuxième version a été mise en œuvre, Viogén 2. Comme expliqué à l’article 14, l’algorithme a été mis à jour avec des nouveautés telles que l’élimination du risque non assuré et entravant l’inactivation des cas ouverts. Ainsi, une nouvelle modalité d’inactivation supervisée apparaît qui établit des mécanismes de contrôle de la police pendant une période de six mois extensible à un an. Cela permet de surveiller les cas dans lesquels les experts de la police n’ont pas apprécié l’existence d’un risque pour les femmes ou cela est faible.

Protocole zéro. Il y a aussi des modifications qui permettront à la victime de le demander dans un moyen « volontaire, manifeste et répété » d’inactiver les cas de risque sans surveillance, faible ou moyen. Malgré cela, le «protocole zéro», conçu pour minimiser le risque de victimes qui expriment leur désir de ne pas dénoncer. Selon la macro-aléance de l’égalité, la grande majorité des victimes ne signalent pas, et donc aucun n’est protégé: les institutions n’ont que la connaissance de 21,7% des cas conformément à ladite enquête.

Tragédies partout. Le problème est que le système n’est pas entièrement efficace. Le meurtre présumé de Lina est le dernier exemple de la fiabilité limitée de Viogén. En octobre 2024, une femme de 56 ans a été tuée malgré sa demande d’aide à deux reprises. Avant, en 2024, une autre femme a été tuée par son partenaire et elle faisait également partie du système de Viogén.

L’algorithme semble minimiser le risque. Dans le cas de Lina, par exemple, le système de Viogén a alloué le risque « moyen » pour cela, et cela semble se produire à plus de reprises. En septembre 2024, 96 644 femmes se trouvaient dans le système de Viogén, mais seulement 12 d’entre elles étaient considérées comme un risque extrême, 0,01% du total. Le ministre de l’Egalité, Ana Redondo, et le ministre de l’Intérieur, Fernando Grande-Marlaska, minimisent les erreurs reconnaissant que « le modèle n’est pas infaillible, mais sauve beaucoup de vies ».

Nouvelle alarme contre l’IA et les algorithmes. Ces derniers temps, nous voyons comment de plus en plus de cas dans lesquels une confiance excessive est accordée aux algorithmes sur des questions particulièrement sensibles utilisées dans les administrations et les institutions publiques.

L’IA n’arrête pas de faire une erreur. Cela s’est produit avec le système Veripol utilisant l’IA pour détecter les fausses plaintes: sa véritable fiabilité était très discutable. Quelque chose auparavant, en mars, nous avons vécu le scandale du cas «Ábalos» dans lequel une IA avait utilisé pour transcrire les déclarations des témoins et des défendeurs a fait des erreurs et a fini par transformer certains paragraphes en gallimatismes. Le système d’IA pour la reconnaissance faciale qui, par exemple, est utilisé dans les caméras de surveillance vidéo à Madrid, a également fait sauter les alarmes de confidentialité. Au Royaume-Uni, une IA pour prédire les crimes au rapport minoritaire a été utilisée, et ses résultats étaient regrettables. Les tentatives d’application de l’IA dans les processus judiciaires et policières ont également généré des conclusions inquiétantes.

Manque de transparence. Ces systèmes sont généralement également critiqués pour leur manque de transparence. Veripol est un bon exemple, mais nous en avions d’autres. En 2024, nous avons parlé du système Bosco, utilisé par les compagnies d’électricité pour décider qui et qui ne peut accepter le bonus social pour l’aide à la facture légère. Le gouvernement a refusé de partager le code source alléguant des raisons de sécurité publique et de défense nationale. Ce n’est pas un problème d’Espagne: il existe un algorithme qui suggère aux États-Unis des juges quoi imposer, mais leur code est un secret, par exemple. Dans de tels problèmes délicats, le manque de transparence sur le fonctionnement de ces algorithmes est particulièrement inquiétant.

Il n’y avait pas d’agences pour cela? En 2021, la création d’une agence espagnole pour l’intelligence artificielle (AESIA) a été convenu. Il était davantage axé sur la surveillance de la conformité à la loi sur les services numériques (DSA) sur des plateformes telles que les grands réseaux sociaux, et en fait en 2022, Séville a été choisi pour abriter le premier centre européen de transparence algorithmique (ECAT).

Et Aesia. Plus récemment, nous avons vu comment Aesia veut enfin prendre forme avec son siège social de Coruña et commencer à fonctionner en 2025 pour se concentrer théoriquement sur l’application du droit de l’IA de l’UE. Son objectif est théoriquement d’effectuer des « mesures pour la minimisation de risques importants sur la sécurité et la santé des personnes, ainsi que leurs droits fondamentaux, qui peuvent être dérivés de l’utilisation des systèmes d’IA ». Le cas de Viogén et Veripol ou de ce qui s’est passé dans le cas «Abalos» est précisément susceptible d’entrer dans cette zone, et il reste à voir si l’activité de cette agence parvient à aider les deux algorithmes utilisés ainsi que son application est optimale.

Image | James Harrison | Police nationale

Dans Simseo | Nous vivons une crise de concentration. Les experts commencent à penser que le problème n’est pas des téléphones mobiles, mais l’algorithme