Les grands modèles linguistiques et la loi

CodeX–Le Stanford Center for Legal Informatics et la société de technologie juridique Casetext ont récemment annoncé ce qu’ils ont appelé « un moment décisif ». Les collaborateurs de recherche avaient déployé GPT-4, le modèle de grande langue (LLM) de dernière génération, pour passer et réussir l’examen uniforme du barreau (UBE). GPT-4 ne s’est pas contenté de grincer. Il a réussi la partie à choix multiples de l’examen et les deux composantes de la partie écrite, dépassant non seulement tous les scores précédents du LLM, mais également le score moyen des candidats à l’examen du barreau dans la vie réelle, obtenant un score dans le 90e centile.

Le directeur de l’innovation et co-fondateur de Casetext, Pablo Arredondo, JD ’05, qui est membre du Codex, a collaboré avec les professeurs affiliés à CodeX Daniel Katz et Michael Bommarito pour étudier les performances de GPT-4 sur l’UBE. Dans des travaux antérieurs, Katz et Bommarito ont découvert qu’un LLM publié fin 2022 n’était pas en mesure de réussir la partie à choix multiples de l’UBE. « GPT-4 Passes the Bar Exam », leur document de travail récemment publié sur le Revue électronique SSRN, a rapidement attiré l’attention nationale. Même The Late Show avec Steven Colbert s’est un peu amusé avec la notion d’avocats-robots diffusant des publicités télévisées tard dans la nuit à la recherche de clients qui glissent et tombent.

Cependant pour Arredondo et ses collaborateurs, c’est une affaire sérieuse. Bien que GPT-4 seul ne soit pas suffisant pour une utilisation professionnelle par des avocats, dit-il, il s’agit du premier grand modèle de langage « assez intelligent » pour alimenter des produits d’IA de qualité professionnelle.

Arredondo explique ici ce que cette percée dans l’IA signifie pour la profession juridique et pour l’évolution de produits comme ceux que Casetext développe.

Quelles avancées technologiques expliquent l’énorme bond en avant de GPT-3 à GPT-4 en ce qui concerne sa capacité à interpréter le texte et sa facilité avec l’examen du barreau ?

Si vous adoptez une vision large, les avancées technologiques derrière cette nouvelle génération d’IA ont commencé il y a 80 ans lorsque les premiers modèles informatiques de neurones ont été créés (McCulloch-Pitts Neuron). Les avancées récentes, y compris GPT-4, ont été alimentées par des réseaux de neurones, un type d’IA qui est vaguement basé sur les neurones et inclut le traitement du langage naturel. Je m’en voudrais de ne pas vous signaler le fantastique article du professeur de Stanford Chris Manning, directeur du laboratoire d’intelligence artificielle de Stanford. Les premières pages fournissent une histoire fantastique menant aux modèles actuels.

Vous dites que les technologies informatiques ont eu du mal avec le traitement du langage naturel et des tâches complexes ou spécifiques à un domaine comme celles de la loi, mais avec les capacités avancées des grands modèles de langage – et GPT-4 – vous avez cherché à démontrer le potentiel de la loi. Pouvez-vous parler des modèles linguistiques et de la manière dont ils se sont améliorés, en particulier pour le droit ? S’il s’agit d’un modèle d’apprentissage, cela signifie-t-il que plus cette technologie est utilisée dans la profession juridique (ou plus elle passe l’examen du barreau), meilleure elle devient/plus elle est utile à la profession juridique ?

Les grands modèles de langage progressent à un rythme époustouflant. Une illustration frappante est le résultat de l’étude sur laquelle j’ai travaillé avec les professeurs de droit et les boursiers Stanford CodeX Dan Katz et Michael Bommarito. Nous avons constaté que si GPT-3.5 n’a pas atteint la barre, marquant à peu près dans le 10e centile inférieur, GPT-4 a non seulement dépassé mais s’est approché du 90e centile. Ces gains sont davantage dus à l’échelle des modèles sous-jacents qu’à tout ajustement de la loi. Autrement dit, notre expérience a montré que le GPT-4 surpasse les modèles plus petits qui ont été affinés par la loi. Il est également essentiel, du point de vue de la sécurité, que le modèle général ne retienne pas, et encore moins n’apprenne, l’activité et les informations des avocats.

Quelles sont les prochaines technologies et quel impact auront-elles sur la pratique du droit ?

Le rythme des progrès dans ce domaine est remarquable. Chaque jour, je vois ou j’entends parler d’une nouvelle version ou application. L’un des domaines les plus passionnants est ce qu’on appelle l’IA agentique, où les LLM (grands modèles de langage) sont configurés de manière à pouvoir « eux-mêmes » élaborer une stratégie sur la façon d’effectuer une tâche, puis exécuter cette stratégie, en évaluant les choses tout au long du processus. chemin. Par exemple, vous pouvez demander à un agent d’organiser le transport pour une conférence et, sans aucune incitation ou ingénierie spécifique, il s’occupera d’obtenir un vol (en vérifiant plusieurs compagnies aériennes si nécessaire) et de louer une voiture. Vous pouvez imaginer l’appliquer à des tâches juridiques de fond (c’est-à-dire que je vais d’abord recueillir des témoignages à l’appui d’une déposition, puis examiner les réponses de découverte pour trouver un soutien supplémentaire, etc.).

Un autre domaine de croissance est le « multimodal », où vous allez au-delà du texte et incorporez des choses comme la vision. Cela devrait permettre des choses comme une IA qui peut comprendre/décrire les chiffres des brevets ou comparer des témoignages écrits avec des preuves vidéo.

Les grands cabinets d’avocats ont certains avantages et je m’attends à ce qu’ils veuillent conserver ces avantages avec ce type de technologie évolutive/d’apprentissage. Vous attendez-vous à ce que l’IA nivelle le terrain ?

Une technologie comme celle-ci uniformisera définitivement les règles du jeu; en effet, c’est déjà le cas. Je m’attends à ce que cette technologie nivelle et élève à la fois la profession.

Ainsi, les technologies basées sur l’IA telles que les LLM peuvent aider à combler le fossé de l’accès à la justice ?

Absolument. En fait, c’est peut-être la chose la plus importante que font les LLM dans le domaine du droit. La première règle des Règles fédérales de procédure civile exhorte à la résolution « juste, rapide et peu coûteuse » des affaires. Mais si vous demandez à la plupart des gens quels sont les trois mots qui leur viennent à l’esprit lorsqu’ils pensent au système juridique, il est peu probable que « rapide » et « peu coûteux » soient les réponses les plus courantes. En rendant les avocats beaucoup plus efficaces, les LLM peuvent aider les avocats à accroître l’accès à la justice en leur permettant de servir plus de clients.

Nous avons entendu parler de l’épée à double tranchant de l’IA. Avez-vous de gros soucis ? Sommes-nous proches d’un moment « Robocop » ?

Mon point de vue, et le point de vue de Casetext, est que cette technologie, aussi puissante soit-elle, nécessite toujours la surveillance d’un avocat. Ce n’est pas un robot avocat, mais plutôt un outil très puissant qui permet aux avocats de mieux représenter leurs clients. Je pense qu’il est important de faire la distinction entre les questions à court terme et à long terme dans les débats sur l’IA.

Le commentaire le plus dramatique que vous entendez (par exemple, l’IA conduira à l’utopie, l’IA conduira à l’extinction humaine) concerne « l’intelligence générale artificielle » (« IAG »), que la plupart pensent être à des décennies d’ici et non réalisable simplement en augmentant les capacités existantes. méthodes. La discussion à court terme, sur la façon d’utiliser la technologie actuelle de manière responsable, est généralement plus mesurée et sur laquelle je pense que la profession juridique devrait se concentrer en ce moment.

Lors d’un récent atelier que nous avons organisé à la conférence FutureLaw de CodeX, le professeur Larry Lessig a soulevé plusieurs préoccupations à court terme concernant des questions telles que le contrôle et l’accès. Les associés-gérants des cabinets d’avocats nous ont demandé ce que cela signifie pour la formation des associés ; Comment formez-vous la prochaine génération d’avocats dans un monde où une grande partie du travail des avocats peut être déléguée à l’IA ? Ce sont ce genre de questions, plus que les prophéties apocalyptiques, qui occupent ma réflexion. Cela dit, je suis heureux que certaines personnes se concentrent sur les implications à plus long terme.