Pourquoi installer des « juges robots » dans les salles d’audience est une très mauvaise idée

Les visions du futur de la science-fiction incluent de nombreuses versions de l’intelligence artificielle (IA), mais relativement peu d’exemples où le logiciel remplace les juges humains. Pour une fois, le monde réel semble changer d’une manière qui n’est pas prédite dans les histoires.

En février, un juge colombien a demandé à ChatGPT des conseils sur la manière de trancher une affaire d’assurance. À peu près au même moment, un juge pakistanais a utilisé ChatGPT pour confirmer ses décisions dans deux affaires distinctes. Il existe également des rapports de juges en Inde et en Bolivie demandant conseil à ChatGPT.

Ce sont des expériences non officielles, mais certains efforts systématiques de réforme impliquent l’IA. En Chine, les juges sont conseillés et assistés par l’IA, et cette évolution devrait se poursuivre. Dans un discours récent, le maître des rôles, Sir Geoffrey Vos – le deuxième juge le plus ancien d’Angleterre et du Pays de Galles – a suggéré que, à mesure que le système juridique de cette juridiction est numérisé, l’IA pourrait être utilisée pour trancher certains « conflits personnels moins intenses ». « , comme les affaires commerciales.

L’IA n’est pas vraiment intelligente

Cela peut sembler être une bonne idée à première vue. La loi est censée être appliquée de manière impartiale et objective, « sans crainte ni faveur ». Certains disent, quelle meilleure façon d’y parvenir que d’utiliser un programme informatique ? AI n’a pas besoin de pause déjeuner, ne peut pas être soudoyée et ne veut pas d’augmentation de salaire. La justice de l’IA peut être appliquée plus rapidement et plus efficacement. Verrons-nous donc des « juges robots » dans les salles d’audience à l’avenir ?

Il y a quatre raisons principales pour lesquelles cela pourrait ne pas être une bonne idée. La première est que, dans la pratique, l’IA agit généralement comme un système expert ou comme un système d’apprentissage automatique. Les systèmes experts impliquent l’encodage de règles dans un modèle de décisions et de leurs conséquences, appelé arbre de décision, dans un logiciel. Celles-ci ont connu leur apogée en droit dans les années 1980. Cependant, ils se sont finalement révélés incapables de fournir de bons résultats à grande échelle.

L’apprentissage automatique est une forme d’IA qui s’améliore avec le temps. Il est souvent assez puissant, mais pas plus qu’une supposition très éclairée. L’une de ses forces est qu’il peut trouver des corrélations et des modèles dans des données que nous n’avons pas la capacité de calculer. Cependant, l’une de ses faiblesses est qu’il échoue de manière différente de la façon dont les gens le font, aboutissant à des conclusions manifestement incorrectes.

Dans un exemple notable, une IA a été amenée à reconnaître une tortue comme une arme à feu. La reconnaissance faciale pose souvent des problèmes pour identifier correctement les femmes, les enfants et les personnes à la peau foncée. Il est donc possible que l’IA puisse également placer par erreur quelqu’un sur une scène de crime qui n’était pas là. Il serait difficile d’avoir confiance dans un système juridique qui produit des résultats clairement incorrects mais aussi très difficiles à contrôler, car le raisonnement derrière l’apprentissage automatique n’est pas transparent. Il a dépassé notre capacité à comprendre son fonctionnement interne, un phénomène connu sous le nom de « problème de la boîte noire ».

Lorsque l’IA est utilisée dans des procédures judiciaires et qu’elle échoue, les conséquences peuvent être graves. Les grands modèles de langage, la technologie sous-jacente aux chatbots IA tels que ChatGPT, sont connus pour écrire du texte complètement faux. C’est ce qu’on appelle une hallucination de l’IA, même si cela implique que le logiciel réfléchit plutôt que de déterminer statistiquement ce que devrait être le mot suivant dans sa sortie.

Cette année, il est apparu qu’un avocat de New York avait utilisé ChatGPT pour rédiger des observations devant un tribunal, pour découvrir qu’il citait des cas qui n’existent pas. Cela indique que ces types d’outils ne sont pas encore capables de remplacer les avocats et, en fait, ne le seront peut-être jamais.

Biais historiques

Deuxièmement, les systèmes d’apprentissage automatique s’appuient sur des données historiques. Dans le domaine du crime et du droit, ceux-ci contiendront souvent des préjugés et des préjugés. Les communautés marginalisées figureront souvent davantage dans les dossiers d’arrestations et de condamnations, de sorte qu’un système d’IA pourrait tirer la conclusion injustifiée que les personnes issues de milieux particuliers sont plus susceptibles d’être coupables.

Un exemple frappant de cela est le système Compas, un algorithme d’IA utilisé par les juges américains pour prendre des décisions sur l’octroi d’une caution et la condamnation. Une enquête a affirmé qu’elle générait des « faux positifs » pour les personnes de couleur et des « faux négatifs » pour les blancs. En d’autres termes, cela suggérait que les personnes de couleur récidivent alors qu’elles ne le faisaient pas, et suggéraient que les Blancs ne récidivent pas lorsqu’ils le faisaient. Cependant, le développeur du système conteste ces affirmations.

Troisièmement, il n’est pas certain que les règles juridiques puissent être converties de manière fiable en règles logicielles. Les individus interpréteront la même règle de différentes manières. Lorsque 52 programmeurs ont été chargés d’automatiser l’application des limites de vitesse, les programmes qu’ils ont écrits ont émis des nombres très différents de tickets pour les mêmes données d’échantillon.

Les juges individuels peuvent avoir des interprétations différentes de la loi, mais ils le font en public et sont susceptibles d’être renversés en appel. Cela devrait réduire la quantité de variation des jugements au fil du temps, du moins en théorie. Mais si un programmeur est trop strict ou trop indulgent dans sa mise en œuvre d’une règle, cela peut être très difficile à découvrir et à corriger.

Les systèmes gouvernementaux automatisés échouent à une échelle et à une vitesse dont il est très difficile de se remettre. Le gouvernement néerlandais a utilisé un système automatisé (SyRI) pour détecter la fraude aux allocations, qui a accusé à tort de nombreuses familles, détruisant des vies dans le processus.

Le programme australien « Online Compliance Intervention » est utilisé pour évaluer automatiquement les dettes des bénéficiaires de prestations sociales. Il est communément appelé « Robodebt ». Le programme a dépassé ses limites, affectant négativement des centaines de milliers de personnes et a fait l’objet d’une commission royale en Australie. (Les commissions royales sont des enquêtes sur des questions d’importance publique en Australie.)

Enfin, juger n’est pas tout ce que font les juges. Ils ont de nombreux autres rôles dans le système juridique, tels que la gestion d’une salle d’audience, d’une charge de travail et d’une équipe de personnel, et ceux-ci seraient encore plus difficiles à remplacer par des logiciels.