L’IA est-elle prête pour les tribunaux ? Un nouveau cadre s'attaque aux plus grandes faiblesses de la technologie

Depuis plus d’une décennie, l’informaticien Randy Goebel et ses collègues japonais utilisent une méthode éprouvée dans son domaine pour faire progresser l’intelligence artificielle dans le monde du droit : un concours annuel.

En s'appuyant sur des exemples d'affaires juridiques tirées de l'examen du barreau japonais, les candidats doivent utiliser un système d'IA capable de récupérer les lois pertinentes pour les affaires et, plus important encore, de prendre une décision : les accusés dans ces affaires ont-ils enfreint la loi ou non ?

C'est cette réponse oui/non avec laquelle l'IA a le plus de mal, dit Goebel, et elle soulève la question de savoir si les systèmes d'IA peuvent être déployés de manière éthique et efficace par les avocats, les juges et autres professionnels du droit qui sont confrontés à des dossiers géants et à des délais restreints pour rendre la justice.

Le concours a servi de base à un nouvel article dans lequel Goebel et ses co-auteurs décrivent les types de raisonnement que l'IA doit utiliser pour « penser » comme les avocats et les juges, et décrivent un cadre permettant d'imprégner les grands modèles de langage (LLM) de raisonnement juridique.

L'article est publié dans la revue Revue du droit et de la sécurité informatique.

« Le mandat est de comprendre le raisonnement juridique, mais la passion et la valeur pour la société sont d'améliorer la prise de décision judiciaire », explique Goebel.

Le besoin de ce type d'outils est particulièrement crucial depuis l'arrêt Jordan de la Cour suprême du Canada, dit Goebel. Cette décision a réduit le délai dont disposent les procureurs pour porter une affaire en justice, et a abouti au rejet des tribunaux de cas aussi graves que des agressions sexuelles et des fraudes.

« C'est une très bonne motivation pour dire : « Permettons au système judiciaire d'être plus rapide, plus efficace et plus efficient » », déclare Goebel.

Faire en sorte que les machines « pensent » comme les avocats

L’article met en évidence trois types de raisonnement que les outils d’IA doivent posséder pour penser comme des professionnels du droit : le raisonnement basé sur des cas, basé sur des règles et abductif.

Certains systèmes d’IA, tels que les LLM, se sont révélés adeptes du raisonnement basé sur des cas, ce qui nécessite que des experts juridiques examinent des affaires judiciaires antérieures et déterminent comment les lois ont été appliquées dans le passé afin d’établir des parallèles avec l’affaire en question.

Le raisonnement basé sur des règles, qui implique l’application de lois écrites à des cas juridiques uniques, peut également être complété dans une certaine mesure par des outils d’IA.

Mais là où les outils d’IA rencontrent le plus de difficultés, c’est avec le raisonnement abductif, un type d’inférence logique qui consiste à enchaîner une série d’événements plausibles qui pourraient expliquer, par exemple, pourquoi un accusé n’est pas coupable d’un crime. (Est-ce que l’homme avec le couteau à la main a poignardé la victime ? Ou est-ce qu’une rafale de vent a poussé le couteau dans sa main ?)

« Il n'est pas surprenant que le raisonnement abductif ne puisse pas être effectué par les grands modèles de langage modernes, car ils ne raisonnent pas », explique Goebel. « Ils sont comme votre ami qui a lu chaque page de l'Encyclopedia Britannica, qui a une opinion sur tout mais ne sait rien de la façon dont la logique s'articule. »

Combinés à leur tendance à « halluciner » ou à inventer des « faits » en gros, les LLM génériques appliqués au domaine juridique sont au mieux peu fiables et, au pire, peuvent mettre fin à la carrière des avocats.

Le défi important pour les scientifiques en IA est de savoir s’ils peuvent développer un cadre de raisonnement qui fonctionne en conjonction avec des LLM génériques pour se concentrer sur l’exactitude et la pertinence contextuelle du raisonnement juridique, explique Goebel.

Il n’existe pas d’outil d’IA unique

À quand des outils d’IA capables de réduire de moitié le travail des avocats et des juges ? Peut-être pas de si tôt.

Goebel affirme que l'un des principaux enseignements de la compétition, également souligné dans le document, est que l'utilisation de programmes informatiques pour faciliter la prise de décision juridique est relativement nouvelle et qu'il reste encore beaucoup de travail à faire.

Goebel prévoit de nombreux outils d'IA distincts utilisés pour différents types de tâches juridiques, plutôt qu'un seul LLM « divin ».

Les affirmations de certains acteurs de l'industrie de l'IA selon lesquelles l'humanité est sur le point de créer un outil d'IA capable de rendre des décisions judiciaires et des arguments juridiques « parfaits » sont absurdes, dit Goebel.

« Tous les juges à qui j'ai parlé ont reconnu qu'un jugement parfait n'existe pas », dit-il. « La question est vraiment : « Comment pouvons-nous déterminer si les technologies actuelles apportent plus de valeur que de mal ? »