Les gens font confiance aux conseils juridiques générés par Chatgpt plus qu'un avocat

Les gens qui ne sont pas des experts juridiques sont plus disposés à compter sur des conseils juridiques fournis par Chatgpt que par de vrais avocats – du moins, lorsqu’ils ne savent pas lequel des deux a fourni les conseils. C’est la conclusion clé de notre nouvelle recherche, qui met en évidence certaines préoccupations importantes concernant la façon dont le public s’appuie de plus en plus sur le contenu généré par l’IA. Nous avons également constaté que le public avait au moins une certaine capacité à identifier si les conseils provenaient de Chatgpt ou d’un avocat humain.

Des outils d’IA comme Chatgpt et d’autres modèles de grands langues (LLM) font leur chemin dans notre vie quotidienne. Ils promettent de fournir des réponses rapides, de générer des idées, de diagnostiquer les symptômes médicaux et même d’aider aux questions juridiques en fournissant des conseils juridiques concrets.

Mais les LLM sont connues pour créer des «hallucinations» dites – c’est-à-dire des sorties contenant un contenu inexact ou absurde. Cela signifie qu’il existe un réel risque associé aux personnes qui s’appuient trop sur eux, en particulier dans les domaines à enjeux élevés tels que le droit. Les LLM ont tendance à présenter des conseils en toute confiance, ce qui rend difficile pour les gens de distinguer les bons conseils des mauvais conseils de manière décisive.

Nous avons mené trois expériences sur un total de 288 personnes. Dans les deux premières expériences, les participants ont reçu des conseils juridiques et ont demandé sur quoi ils seraient prêts à agir. Lorsque les gens ne savaient pas si les conseils provenaient d’un avocat ou d’une IA, nous avons constaté qu’ils étaient plus disposés à compter sur les conseils générés par l’IA. Cela signifie que si un LLM donne des conseils juridiques sans divulguer sa nature, les gens peuvent le considérer comme un fait et le préférer aux conseils d’experts des avocats – sans remettre en question sa précision.

Même lorsque les participants ont été informés quels conseils venaient d’un avocat et qui a été généré par l’IA, nous avons constaté qu’ils étaient prêts à suivre autant Chatgpt que l’avocat.

L’une des raisons pour lesquelles les LLM peuvent être privilégiées, comme nous l’avons constaté dans notre étude, est qu’ils utilisent un langage plus complexe. D’un autre côté, les vrais avocats avaient tendance à utiliser un langage plus simple mais utilisent plus de mots dans leurs réponses.

La troisième expérience a examiné si les participants pouvaient faire la distinction entre LLM et le contenu généré par l’avocat lorsque la source ne leur est pas révélée. La bonne nouvelle est qu’ils peuvent, mais pas beaucoup.

Dans notre tâche, la supposition aléatoire aurait produit un score de 0,5, tandis que une discrimination parfaite aurait produit un score de 1,0. En moyenne, les participants ont marqué 0,59, indiquant des performances légèrement meilleures que la supposition aléatoire, mais toujours relativement faible.

Réglementation et alphabétisation de l’IA

C’est un moment crucial pour la recherche comme le nôtre, car des systèmes alimentés par l’IA tels que les chatbots et les LLM sont de plus en plus intégrés dans la vie quotidienne. Alexa ou Google Home peut agir en tant qu’assistant à domicile, tandis que les systèmes compatibles AI peuvent aider avec des tâches complexes telles que les achats en ligne, la résumé des textes juridiques ou la génération de dossiers médicaux.

Pourtant, cela comporte des risques importants de prendre des décisions potentiellement qui changent la vie qui sont guidées par une désinformation hallucinée. Dans l’affaire juridique, les conseils hallucinés générés par l’IA pourraient provoquer des complications inutiles ou même des fausses couches de justice.

C’est pourquoi il n’a jamais été aussi important de réguler correctement l’IA. Jusqu’à présent, les tentatives incluent la loi UE AI, l’article 50.9 dont les États-Unis selon les AIS générateurs de texte devraient s’assurer que leurs sorties sont « marquées dans un format lisible par machine et détectables comme générées ou manipulées artificiellement ».

Mais ce n’est qu’une partie de la solution. Nous devons également améliorer l’alphabétisation de l’IA afin que le public soit mieux à même d’évaluer le contenu de manière critique. Lorsque les gens sont mieux en mesure de reconnaître l’IA, ils pourront prendre des décisions plus éclairées.

Cela signifie que nous devons apprendre à remettre en question la source des conseils, à comprendre les capacités et les limites de l’IA, et à souligner l’utilisation de la pensée critique et du bon sens lors de l’interaction avec le contenu généré par l’IA. En termes pratiques, cela signifie récompenser les informations importantes avec des sources de confiance et y compris des experts humains pour empêcher la dépassement des informations générées par l’IA.

Dans le cas de conseils juridiques, il peut être bien d’utiliser l’IA pour certaines questions initiales: « Quelles sont mes options ici? Sur quoi dois-je lire? Y a-t-il des cas similaires à la mienne, ou quel domaine de droit est-ce? » Mais il est important de vérifier les conseils avec un avocat humain bien avant de se retrouver devant le tribunal ou d’agir sur quelque chose généré par un LLM.

L’IA peut être un outil précieux, mais nous devons l’utiliser de manière responsable. En utilisant une approche à deux volets qui se concentre sur la réglementation et l’alphabétisation de l’IA, nous pouvons exploiter ses avantages tout en minimisant ses risques.