Le bot ChatGPT réussit l’examen de la faculté de droit des États-Unis
Un chatbot alimenté par des tonnes de données provenant d’Internet a réussi des examens dans une faculté de droit américaine après avoir rédigé des essais sur des sujets allant du droit constitutionnel à la fiscalité et aux délits.
ChatGPT d’OpenAI, une société américaine qui a reçu cette semaine une injection massive d’argent de Microsoft, utilise l’intelligence artificielle (IA) pour générer des flux de texte à partir de simples invites.
Les résultats ont été si bons que les éducateurs ont averti que cela pourrait conduire à une fraude généralisée et même signaler la fin des méthodes d’enseignement traditionnelles en classe.
Jonathan Choi, professeur à la faculté de droit de l’Université du Minnesota, a soumis à ChatGPT le même test auquel les étudiants étaient confrontés, composé de 95 questions à choix multiples et de 12 questions à développement.
Dans un livre blanc intitulé « ChatGPT va à la faculté de droit » publié lundi, lui et ses coauteurs ont rapporté que le bot avait obtenu un C+ dans l’ensemble.
Bien que cela suffise pour un laissez-passer, le bot était près du bas de la classe dans la plupart des matières et « bombardé » aux questions à choix multiples impliquant les mathématiques.
« Pas un bon élève »
« En écrivant des essais, ChatGPT a montré une solide compréhension des règles juridiques de base et avait une organisation et une composition toujours solides », ont écrit les auteurs.
Mais le bot « a souvent eu du mal à repérer les problèmes lorsqu’on lui a donné une invite ouverte, une compétence essentielle aux examens des facultés de droit ».
Les responsables de New York et d’autres juridictions ont interdit l’utilisation de ChatGPT dans les écoles, mais Choi a suggéré que cela pourrait être une aide pédagogique précieuse.
« Dans l’ensemble, ChatGPT n’était pas un grand étudiant en droit agissant seul », a-t-il écrit sur Twitter.
« Mais nous nous attendons à ce que la collaboration avec des humains, des modèles de langage comme ChatGPT soit très utile aux étudiants en droit qui passent des examens et aux avocats en exercice. »
Et minimisant la possibilité de tricherie, il a écrit en réponse à un autre utilisateur de Twitter que deux marqueurs sur trois avaient repéré le papier écrit par le bot.
« (Ils) avaient une intuition et leur intuition était juste, car ChatGPT avait une grammaire parfaite et était quelque peu répétitif », a écrit Choi.