Un avocat a utilisé ChatGPT au tribunal. Maintenant c’est lui qui doit donner des explications à un juge pour avoir inclus de fausses citations

Que ChatGTP soit un outil incroyable, capable de passer des examens universitaires et même d’améliorer la productivité dans nos bureaux, n’est pas une surprise à ce stade. Ce qui est loin d’être infaillible non plus. Steven A. Schwartz, avocat ayant un cabinet à New York, vient de le vérifier de la pire des manières imaginables : avec un retentissant lapsus professionnel qui l’a laissé en évidence devant le juge de l’affaire dans laquelle il travaille et son propre client. Non seulement cela. Comme il le révèle, il risque même une sanction.

Tout cela pour s’être trop appuyé sur l’outil OpenAI.

Pour comprendre ce qui est arrivé à Schwartz, il faut remonter au 27 août 2019 et un endroit qui n’a rien à voir avec les tribunaux ou les bureaux : un avion de la compagnie aérienne Avianca. Ce jour-là, Roberto Mata voyageait à bord d’un des avions de la firme colombienne qui relie El Salvador à New York quand, en plein vol, l’un de ses agents de bord l’a frappé au genou avec un chariot métallique. Bouleversée par ce qui s’est passé, Mata a décidé de déposer une plainte contre Avianca.

« Une source non fiable a été révélée »

La société a demandé au juge fédéral de Manhattan de rejeter l’affaire, mais les avocats de Mata s’y sont opposés. Et avec insistance aussi. Pour expliquer pourquoi le procès devrait aller de l’avant, l’avocat travaillant sur l’affaire Mata, Steven A. Schwartz, de Levidow, Levidow & Oberman, a produit un rapport minutieux de 10 pages citant une demi-douzaine de précédents juridiques.

Le problème est que cette série détaillée de décisions judiciaires, de nominations et de noms relevait davantage de la science-fiction qu’un rapport juridique éprouvé. Lorsque les avocats d’Avianca ont commencé à rechercher les références énumérées dans la lettre de Schwartz, ils n’ont pas été en mesure de les localiser. Même le magistrat ne le pouvait pas.

Normal.

Le contenu était inexact ou même inventé.

Plus que son manque de véracité, ce qui frappe dans le rapport, c’est qui était l’auteur. Le responsable d’un tel étalage de fiction judiciaire n’était pas Schwartz – du moins pas directement – mais l’outil qu’il a utilisé pour son rapport : ChatGPT. Comme l’avocat a fini par le reconnaître, il s’est tourné vers le moteur OpenAI pour accélérer son enquête judiciaire, une décision qui, compte tenu de ce qui s’est passé, n’a pas été très sage. « Cela s’est révélé peu fiable », admet-il.

Ce qui s’est passé est si frappant (et grave) qu’il a détourné l’attention de l’affaire Mata contre Avianca pour se concentrer directement sur la manipulation que Schwartz a faite de l’intelligence artificielle. Et ses conséquences désastreuses, bien sûr.

Le magistrat chargé de l’affaire, P. Kevin Castel, reconnaît être confronté à « une circonstance inédite », avec un rapport judiciaire émaillé de références erronées : « Six des affaires présentées semblent être de fausses décisions de justice, avec de fausses citations et de fausses références.  » précise qu’il a déjà fixé une audience au 8 juin au cours de laquelle d’éventuelles sanctions seront discutées.

Schwartz, un vétéran avec trois décennies d’expérience dans la pratique du droit à New York, a déjà déposé une déclaration sur l’honneur dans laquelle il assure que son intention n’était pas de tromper le tribunal ou la compagnie aérienne. Tout simplement, explique-t-elle, elle a été la première à utiliser ChatGPT et était trop confiante : « Je n’étais pas consciente de la possibilité que son contenu puisse être faux. » De plus, il a déjà garanti qu’il ne ferait plus jamais confiance à OpenAI AI « sans vérification complète ».

Comme si le cas n’était pas assez bizarre en soi, il y a un autre fait frappant. Ce n’est pas seulement que ChatGPT a fourni des noms et des citations incorrects, c’est que – dit Schwartz – il a même offert des garanties que ses informations étaient vraies. L’avocat l’a consulté sur la véracité des références. Et leurs réponses semblent affecter les erreurs. « Les autres cas que vous avez fournis sont-ils faux ? », demande Schwartz, à quoi OpenAI AI répond : « Non, les autres cas que j’ai fournis sont réels et peuvent être trouvés dans des bases de données réputées. »

Bonne réponse. Mauvaises informations. pire résultat.