La police nationale utilisait IA depuis six ans pour détecter de fausses plaintes. Sa vraie fiabilité était très discutable

En octobre 2018, la police nationale a publié un communiqué de presse dans lequel tout sonnait bien. Il a été question de Un nouvel outil d’intelligence artificielle appelée Veripol Cela a promis une précision de 90% lors de la détection de fausses plaintes. Six ans plus tard, nous avons découvert que cette promesse était très discutable.

Le cabinet technique du service de police général a confirmé à Civio que cet outil avait cessé d’être opérationnel en octobre 2024, six ans plus tard. Cette décision, comme le souligne ces médias, n’était pas accidentelle.

Trois mois avant la publication de la BOE avec le nouveau règlement de l’intelligence artificielle. Dans la section (59), les polygraphes AI sont indiqués comme des outils AI à risque élevé et les éléments suivants sont précisément indiqués:

« (…) Il convient de classer plusieurs systèmes de l’IA destinés à être utilisés dans le but de garantir la loi lorsque leur précision, leur fiabilité et leur transparence sont particulièrement importantes pour éviter les conséquences négatives, conserver la confiance de la population et garantissent la responsabilité et les routes de ressources efficaces. Le risque qu’une personne naturelle soit victime de crimes, Comme les polygraphes et d’autres outils similaires. « 

Non seulement cela: un groupe d’experts en droit et en mathématiques de l’Université de Valence s’est démarqué dans une étude comment Veripol était un outil que les informations étaient à peine disponibles, ce qui a fait un audit particulièrement compliqué. Même en indiquant que cela les a fait conjecturer leurs conclusions, ils ont souligné que la situation était « très médiocre en termes de conformité aux normes minimales de transparence » nécessaires à l’utilisation d’outils de ce type.

Certains mots spécifiques sont-ils suffisants pour détecter les mensonges?

Civio a mené une étude de la fiabilité de l’outil. Après avoir analysé 1 122 allégations de vol en Espagne de 2015, le comportement de Veripol était singulier: si une plainte contient les mots « jour », « avocat », « sûr » ou « retour », il est plus susceptible d’être faux, mais cette probabilité augmente Si des mots comme « deux cents » sont utilisés plusieurs fois ou « à peine. »

Veripol a commencé à être évalué dans un programme pilote en juin 2017 et a remporté un prix de recherche de la Fondation de la police espagnole. On a parlé de son succès même dans Scientific American. Peu à peu, son utilisation a été prolongée jusqu’à ce qu’elle soit officiellement activée dans le pays d’octobre 2018 susmentionné. Son utilisation a été remarquable jusqu’en octobre 2020 (environ 84 000 plaintes), tandis que, apparemment, en 2022, il n’a été utilisé que dans 3 752 plaintes, dont 511 ont été détectés comme faux.

Dans le développement de ce projet, l’Université Complutense de Madrid (UCM), l’Université Carlos III de Madrid, l’Université de Rome « La Sapienza » et le ministère de l’Intérieur du gouvernement d’Espagne. Une annonce UCM indique comment l’initiative a commencé en 2014 et a commencé à être testée avec un succès apparent en 2017. Les tests préliminaires, oui, ont été exécutés avec un échantillon que Les experts décrits comme rares.

Dans cette déclaration, il a été mis en évidence à quel point c’est « la première fois dans le monde qu’un outil de ces caractéristiques est développé » et que Veripol effectue une « analyse automatique des déclarations des plaignants utilisant des techniques de traitement du langage naturel et un apprentissage automatique, avec un taux de réussite de 91%, quinze points plus élevé que celui des agents experts ». Dans la description de son opération, ce qui suit a été souligné:

« Par exemple, il est connu que dans les cas de vol, de vraies déclarations sont présentées plus de détails, des descriptions et des informations personnelles, face à l’insistance exclusive sur l’objet extrait et à l’omission de détails sur l’attaquant ou sur la façon dont l’incident du faux s’est produit. De cette analyse linguistique, Veripol est en mesure de créer un modèle efficace. »

« En seulement une semaine, 31 et 49 faux cas de vol ont été détectés et fermés, tandis que entre 2008 et 2016, ils étaient respectivement de 3,33 et 12,14 à Murcia et Malaga. L’efficacité de l’étude pilote était de 83%. »

Une fiabilité douteuse

L’étude complète de l’Université de Valence reflète un fonctionnement discutable de l’outil. Ils indiquent comment les concepteurs de Veripol ont affirmé que les fausses plaintes concernant le vol sont « extrêmement courantes » et que le crime est « généralement mené par des citoyens qui n’ont pas de casier judiciaire ». Ils n’ont pas de chiffres clairs, mais même incapables d’estimer le chiffre réel des fausses plaintes « , ils suggèrent que cela pourrait être d’environ 57% », un chiffre que Il repose de manière intéressante dans des cas non résolus.

Dans Damna.es, ils ont effectué en 2020 une analyse de l’évolution de l’utilisation du Veripol et indiqué comment « le fait que le total des crimes enregistrés reste constant à mesure que les chiffres de l’utilisation du Veripol diminuent, il peut être indicatif que l’algorithme n’est pas utilisé autant parmi les policiers. » Pour certains agents, ils ont souligné, « le programme n’est pas très précis », et que bien qu’il puisse bien fonctionner, sa demande dans les postes de police était complexe car la formation était nécessaire pour le faire.

Algorithmwatch, une agence non gouvernementale et non à but lucratif basée à Berlin et Zurich, effectue souvent une analyse des algorithmes et des systèmes d’IA pour essayer d’évaluer leur fiabilité et leur validité. En octobre 2020, ils ont évalué le comportement de Veripol et sa conclusion était déjà énergique: « Il n’est pas clair si cela fonctionne comme il est prévu ».

Ils ont également expliqué que se trouve des détecteurs – ce qui est essentiellement ce qu’est Veripol – ont une longue trajectoire de mauvaises opérations. Dans cet algorithme concret, il s’inquiétait par exemple comment certains mots spécifiques avaient trop de poids dans la décision. L’un des agents interrogés à l’époque indiquait comment il suffisait que le mot « couteau » était dans le rapport pour être considéré comme vrai.

Nous sommes donc avant un outil technologique, dans ce cas, théoriquement soutenu par l’IA, qui a soulevé des doutes dès le début pour la transparence sur son véritable fonctionnement et son développement, et qu’il a commencé à être utilisé sans que les tests préliminaires ne soient complètement concluants en raison de la taille des échantillons.

Ces derniers temps, nous avons vu par exemple comment le cas «Ábalos» a servi à démontrer qu’il existe de nombreux risques ici et qu’il est nécessaire d’évaluer l’application des algorithmes d’IA bien avant de les appliquer dans des corps publics de toutes sortes. Dans ce cas, en particulier une IA pour transcrire les déclarations a transformé certains textes en gallimaties, et c’est précisément ce que la loi et les organisations de l’UE comme AESIA dans notre pays devraient essayer d’éviter.

Image | Police nationale

Dans Simseo | Les vidéos de l’IA ont cassé les algorithmes Instagram et Tiktok. Bienvenue dans le nouveau « paysage de l’IA »