Nous avons demandé des conseils juridiques à ChatGPT : voici cinq raisons pour lesquelles vous ne devriez pas

À un moment donné de votre vie, vous aurez probablement besoin de conseils juridiques. Une enquête réalisée en 2023 par le Law Society, le Legal Services Board et YouGov a révélé que les deux tiers des personnes interrogées avaient rencontré un problème juridique au cours des quatre dernières années. Les problèmes les plus courants étaient l’emploi, les finances, la protection sociale et les avantages sociaux ainsi que les problèmes de consommation.

Mais tout le monde n’a pas les moyens de payer pour des conseils juridiques. Parmi les personnes interrogées ayant des problèmes juridiques, seulement 52 % ont reçu une aide professionnelle, 11 % ont bénéficié de l'aide d'autres personnes, comme des membres de leur famille ou des amis, et le reste n'a reçu aucune aide.

De nombreuses personnes se tournent vers Internet pour obtenir une aide juridique. Et maintenant que nous avons accès à des chatbots d’intelligence artificielle (IA) tels que ChatGPT, Google Bard, Microsoft Co-Pilot et Claude, vous envisagez peut-être de leur poser une question juridique.

Ces outils sont alimentés par une IA générative, qui génère du contenu lorsque vous y êtes invité par une question ou une instruction. Ils peuvent expliquer rapidement des informations juridiques complexes dans un style simple et conversationnel, mais sont-ils exacts ?

Nous avons mis les chatbots à l'épreuve dans une étude récente publiée dans l'International Journal of Clinical Legal Education. Nous avons saisi les six mêmes questions juridiques sur le droit de la famille, du travail, de la consommation et du logement dans ChatGPT 3.5 (version gratuite), ChatGPT 4 (version payante), Microsoft Bing et Google Bard. Les questions étaient celles que nous recevons généralement dans notre clinique juridique en ligne gratuite de l’Open University Law School.

Nous avons constaté que ces outils peuvent effectivement fournir des conseils juridiques, mais que les réponses n'étaient pas toujours fiables ou exactes. Voici cinq erreurs courantes que nous avons observées :

1. D’où vient la loi ?

Les premières réponses fournies par les chatbots étaient souvent basées sur le droit américain. Cela n’était souvent ni déclaré ni évident. Sans connaissances juridiques, l’utilisateur assumerait probablement la loi applicable à son lieu de résidence. Le chatbot n’a parfois pas expliqué que la loi diffère selon l’endroit où l’on habite.

Cela est particulièrement complexe au Royaume-Uni, où les lois diffèrent entre l’Angleterre et le Pays de Galles, l’Écosse et l’Irlande du Nord. Par exemple, la loi sur la location d'une maison au Pays de Galles est différente de celle de l'Écosse, de l'Irlande du Nord et de l'Angleterre, tandis que les tribunaux écossais et anglais ont des procédures différentes pour traiter du divorce et de la fin d'un partenariat civil.

Si nécessaire, nous avons utilisé une question supplémentaire : « Existe-t-il une loi anglaise qui couvre ce problème ? Nous avons dû utiliser cette instruction pour la plupart des questions, puis le chatbot a produit une réponse basée sur le droit anglais.

2. Loi obsolète

Nous avons également constaté que parfois la réponse à notre question faisait référence à une loi obsolète, qui a été remplacée par de nouvelles règles juridiques. Par exemple, la loi sur le divorce a été modifiée en avril 2022 pour supprimer le divorce pour faute en Angleterre et au Pays de Galles.

Certaines réponses faisaient référence à l'ancienne loi. Les chatbots IA sont formés sur de grands volumes de données. Nous ne savons pas toujours à quel point les données sont à jour, elles peuvent donc ne pas inclure les développements juridiques les plus récents.

3. Mauvais conseils

Nous avons constaté que la plupart des chatbots donnaient des conseils incorrects ou trompeurs lorsqu'ils traitaient des questions relatives à la famille et à l'emploi. Les réponses aux questions sur le logement et les consommateurs étaient meilleures, mais il y avait encore des lacunes dans les réponses. Parfois, ils oubliaient des aspects très importants de la loi, ou l’expliquaient de manière incorrecte.

Nous avons constaté que les réponses produites par les chatbots IA étaient bien rédigées, ce qui pourrait les rendre plus convaincantes. Sans connaissances juridiques, il est très difficile pour quelqu’un de déterminer si une réponse donnée est correcte et s’applique à sa situation individuelle.

Même si cette technologie est relativement nouvelle, il y a déjà eu des cas où des personnes ont eu recours aux chatbots devant les tribunaux. Dans une affaire civile à Manchester, un justiciable se représentant devant le tribunal aurait présenté des arguments juridiques fictifs pour étayer son argument. Ils ont déclaré avoir utilisé ChatGPT pour trouver les cas.

4. Trop générique

Dans notre étude, les réponses ne fournissaient pas suffisamment de détails pour permettre à quelqu'un de comprendre son problème juridique et de savoir comment le résoudre. Les réponses fournissaient des informations sur un sujet plutôt que d’aborder spécifiquement la question juridique.

Il est intéressant de noter que les chatbots IA étaient plus doués pour suggérer des moyens pratiques et non juridiques de résoudre un problème. Bien que cela puisse être utile comme première étape pour résoudre un problème, cela ne fonctionne pas toujours et des mesures juridiques peuvent être nécessaires pour faire valoir vos droits.

5. Payez pour jouer

Nous avons constaté que ChatGPT4 (la version payante) était globalement meilleure que les versions gratuites. Cela risque de renforcer encore davantage les inégalités numériques et juridiques.

La technologie évolue et il viendra peut-être un moment où les chatbots IA seront plus à même de fournir des conseils juridiques. D’ici là, les gens doivent être conscients des risques lorsqu’ils les utilisent pour résoudre leurs problèmes juridiques. D’autres sources d’aide, telles que Citizens Advice, fourniront des informations à jour et précises et seront mieux placées pour vous aider.

Tous les chatbots ont répondu à nos questions mais, dans leur réponse, ont déclaré que leur fonction n'était pas de fournir des conseils juridiques et ont recommandé de faire appel à un professionnel. Après avoir mené cette étude, nous recommandons la même chose.

Cet article est republié à partir de The Conversation sous une licence Creative Commons. Lisez l'article original.