Anthropic veut donner un arbitre à l’IA. Le problème est de savoir qui a choisi de le faire

Dans une lettre publiée il y a quelques jours, Dario Amodei préconisait d’arrêter les avancées de l’IA, et il l’a également fait en donnant des détails très clairs sur ce à quoi nous nous exposons. Selon le PDG d’Anthropic, en moins d’un an, une IA pourrait prendre le contrôle de l’ensemble d’Internet et causer d’énormes dégâts. Mais ne vous inquiétez pas, elle a un plan pour l’éviter, en commençant par donner un accès permanent à des auditeurs externes et indépendants. Amodei en propose un en particulier : METR. Voyons ce que c’est et qui se cache derrière cette organisation.

Qu’est-ce que le METR. Son nom signifie Model Evaluation and Threat Research et se définit comme une organisation à but non lucratif qui travaille « à évaluer scientifiquement si les systèmes d’intelligence artificielle pourraient constituer un danger catastrophique pour la société ».

Leurs travaux récents incluent l’enquête sur l’incident OpenAI et Hugging Face, mais ils se consacrent également à évaluer le temps de travail humain qu’un agent d’IA peut effectuer, une mesure qui est devenue une référence pour mesurer les capacités de l’IA agentique. De plus, ils conçoivent des propositions de gouvernance pour les entreprises afin de renforcer leurs mesures de sécurité. C’est-à-dire que le METR ne se concentre pas seulement sur l’évaluation des risques, mais propose également comment les modèles doivent être gouvernés, exactement ce que demande Amodei dans sa lettre.

La naissance du METR. Il n’est pas sorti de nulle part, mais est né d’ARC Evals, une équipe du Alignment Research Center, dirigée par Paul Christiano. Christiano est une figure de proue dans le domaine de l’alignement de l’IA et avait auparavant travaillé chez OpenAI.

Pour diriger ce nouveau projet, ils ont embauché Beth Barnes, qui avait travaillé chez DeepMind et OpenAI, où elle avait rencontré Christiano. L’équipe s’agrandit rapidement et devient en 2023 indépendante de l’ARC pour devenir METR.

L’équipe. Aujourd’hui, Beth Barnes continue de diriger METR en tant que PDG et fondatrice, mais elle n’est pas la seule à entretenir des liens avec les grands laboratoires d’IA. Ils comptent parmi leur équipe plusieurs anciens ingénieurs et chercheurs d’OpenAI, Anthropic et Google Deepmind. Parmi eux se trouvent Joe Benton, qui vient de rejoindre METR depuis Anthropic, et Josh Engels, venu de DeepMind.

Qui paie la fête ? METR est une organisation à but non lucratif et est financée principalement par des dons. En août de la même année, ils ont annoncé avoir réussi à lever 71 millions de dollars en six mois.

METR souligne qu’il n’accepte aucun financement de la part des entreprises d’IA qu’il évalue, ni des employés desdits laboratoires. Cela ne veut pas dire pour autant qu’ils ne contribuent en rien à son fonctionnement. L’organisation reconnaît qu’OpenAI, Anthropic, Google DeepMind, Meta et d’autres sociétés lui fournissent un accès à leurs modèles et une quantité importante de jetons gratuits pour mener ses évaluations.

Altruisme efficace. Parmi les donateurs cités par METR figurent des fondations comme la Sijbrandij Foundation, Schmidt Sciences, Packard Foundation et Pew Charitable Trusts, mais aussi des organisations étroitement liées au mouvement, comme Longview Philanthropy, Effektiv Spenden et le Survival and Flourishing Fund. « L’altruisme efficace » est un mouvement philosophique et philanthropique qui cherche à identifier les moyens les plus efficaces d’utiliser les ressources pour améliorer le monde et qui, ces dernières années, a accordé une importance significative à la sécurité et aux risques potentiels de l’intelligence artificielle.

Comme le rapporte le New York Times, les Amodei ont déclaré ne pas faire partie de cette communauté, mais Daniela Amodei, la sœur de Dario et présidente d’Anthropic, est mariée à Holden Karnofsky, l’un des fondateurs du mouvement altruiste efficace. Cela ne veut pas dire que les Amodei financent directement le METR, mais cela signifie qu’ils entretiennent des liens très étroits avec une grande partie de l’écosystème qui les finance. De plus, Hjalmar Wijk, scientifique en chef du METR, et Ajeya Cotra, de l’équipe technique, proviennent d’entreprises liées à ce mouvement.

Indépendant, mais peu. C’est ce que soutiennent de nombreuses voix critiques dans le secteur. David Sacks, conseiller technologique de l’administration Trump, a été très clair dans son récit X : « Arrêtez de prétendre que METR est indépendant alors qu’il est étroitement lié aux investisseurs et au personnel d’Anthropic. » Dans un article de Read Multiplex, ils vont encore plus loin, accusant METR et Anthropic de tenter d’orchestrer une capture réglementaire qui limite leur concurrence et, surtout, l’IA open source, pour créer un oligopole aux côtés d’OpenAI.

Il n’y a aucune preuve que le METR agit à la demande d’Anthropic ou qu’il existe une stratégie coordonnée de captation réglementaire. Mais pour leurs détracteurs, le fait est qu’ils choisissent comme arbitre une organisation qui partage leur vision sur les risques de l’IA et entretient des liens démontrables avec l’entreprise, même s’il n’y a pas de financement direct entre les deux.

L’apocalypse de l’IA. Tout cela se produit à un moment très précis où le discours selon lequel « l’IA va tous nous tuer » a infiltré le débat public. L’étincelle qui a allumé tout cela a été la démission de Jacob Coxon, un chercheur d’Anthropic qui avait également travaillé pour OpenAI. Coxon a déclaré que ces entreprises « jouaient avec nos vies » et peu de temps après, le responsable de l’alignement d’Anthropic était d’accord avec lui, allant jusqu’à déclarer qu’il y a 10 % de chances que l’IA anéantisse l’humanité en moins de 10 ans. Plus tard, Amodei a publié sa lettre demandant d’arrêter le progrès dans laquelle, négligemment, il a laissé échapper que le METR était l’arbitre qui supervise tout.

Dire que vous allez donner un accès complet à vos systèmes à une organisation externe peut sembler être l’acte ultime de transparence et d’engagement en matière de sécurité. Le fait est que METR n’est pas n’importe quel évaluateur tiers, c’est un évaluateur composé en partie d’anciens employés d’Anthropic et d’OpenAI et qui partage son point de vue sur les risques et l’alignement de l’IA.

Images | MÉTR

À Simseo | Nous entendons depuis des années qu’une superintelligence pourrait tous nous tuer. Entre «pourrait» et «ça va nous éteindre», il y a un gouffre