Anthropic appelle à ralentir le développement de l’IA, mais son IA progresse deux fois plus vite que l’année dernière

Mi-septembre, Dario Amodei, PDG d’Anthropic, a envoyé un curieux message : nous allons trop loin avec l’IA. Déjà à l’époque, nous avions fait remarquer qu’il ne s’agissait peut-être pas d’un appel à la responsabilité, mais plutôt d’un assouplissement de certains comptes qui pourraient commencer à ne pas fonctionner. Le temps remet chaque chose à sa place, et une étude indépendante ayant accès aux données internes de l’entreprise estime que les modèles d’Anthropic s’améliorent presque deux fois plus vite qu’auparavant.

La clé ? L’IA pousse à développer l’IA.

En bref. Il y a quelques jours, l’organisation à but non lucratif METR (Model Evaluation and Threat Research) a publié le fruit de mois de travail : une analyse de la mesure dans laquelle l’IA accélère son propre développement au sein d’Anthropic. L’évaluation a été réalisée entre le 12 août et le 29 octobre, elle a donc commencé avant qu’Amodei ne lance le message, et a conclu que l’entreprise améliore les capacités de ses modèles dans des tâches bien définies dans un délai environ deux fois plus rapide qu’entre mars 2024 et octobre 2025.

Ils laissent une marge entre 1,3 et 3 fois plus rapide et pour tirer ces conclusions ils s’appuient sur l’AECI, la version Anthropic de l’Epoch Capabilities Index qui résume en un chiffre les performances d’un modèle dans un ensemble de tâches de test (les benchmarks, allez). Ainsi, ils estiment qu’à partir d’octobre 2025, sa croissance sera 1,9 fois plus rapide.

La cause. METR se dit convaincu que l’accélération n’est pas due à une puissance de calcul plus rapide pour la formation. Les consommateurs souffrent de ce problème depuis un an maintenant (et c’est ce qui a conduit à la crise actuelle des composants qui n’a pas de fin en vue). L’estimation subjective des chercheurs est que la majeure partie de l’accélération actuelle, peut-être 80 %, est due à l’utilisation de l’IA dans le développement de l’IA elle-même.

Ici, ils admettent qu’il n’y a pas de consensus et que cet élan peut être dû uniquement à l’utilisation de l’IA pour former l’IA (quelque chose qu’Anthropic lui-même n’a pas caché, wow), mais aussi à une augmentation des embauches. Dans l’analyse, ils présentent les déclarations des chercheurs interrogés, qui soulignent que l’IA accélère le travail grâce à son assistance aux humains, même si elle n’apporte pas encore de contribution autonome dans les parties les plus cruciales de la formation.

Dans des enquêtes informelles auprès des employés, ils font état d’une amélioration perçue d’environ 12 fois plus rapide, bien que METR considère cela comme peu fiable. Ce qui semble plus fondé, c’est qu’il n’y aura pas de goulots d’étranglement (même s’ils n’en sont pas sûrs car la valorisation a changé à plusieurs reprises) qui ralentirait le développement au cours des 12 prochains mois et, en outre, ils soulignent qu’il est très possible que l’accélération ait des répercussions. En bref : des modèles plus performants accéléreraient encore le développement.

La demande. C’est curieux si l’on prend en compte la pétition du 12 septembre susmentionnée. Amodei a publié l’essai dans lequel il demande de ralentir le rythme d’amélioration des capacités des modèles. Le texte attribue avant tout les avancées récentes à l’amélioration récursive, précisément ce dont nous avons parlé à propos de la capacité de l’IA à construire la prochaine génération d’IA.

Amodei lui-même a proposé trois étapes pour effectuer une sorte d’audit à ce sujet :

• Accordez aux testeurs externes un accès de type employé au sein des entreprises d’IA. Dans ce cas, il a mentionné METR.
• Normes de sécurité communes aux laboratoires des pays démocratiques.
• Coordination mondiale.

Censure. Malgré l’ouverture, Anthropic avait le droit de cacher des informations critiques qui ne peuvent pas être publiques (la formule Coca-Cola de son IA, en un mot) et METR note que l’entreprise a censuré la plupart des tests qu’elle considérait comme les plus informatifs. Ceux-ci incluent des estimations de l’accélération de la formation, la répartition des progrès entre le calcul, les données et les algorithmes, les prévisions des futurs modèles et l’analyse de divers goulots d’étranglement.

METR utilise cela pour envoyer le message qu’il s’agit d’une chose indésirable à l’extérieur car cela devient un test de foi pour les futurs utilisateurs, mais Anthropic le justifie par ce qui a été mentionné : la nécessité d’éliminer les informations confidentielles qui pourraient accélérer les rivaux dans cette course. Un autre problème, peut-être plus épineux, est que METR assure qu’Anthropic a annulé le processus de vérification au milieu de l’enquête sur la manière dont il répartit son calcul entre capacités et sécurité, affirmant qu’il préférait se concentrer sur l’évaluation des risques et qu’il leur rendrait la vérification plus tard.

C’est de la pure spéculation de ma part, mais c’est peut-être quelque chose lié à l’intention d’Anthropic de le rendre public dans les semaines à venir et au fait qu’ils allaient le rendre suffisamment public au moment où ils annonceraient leur « candidature ».

Prudence. Lors de la publication de l’analyse, le cofondateur d’Anthropic et responsable de la politique de mise à l’échelle a commenté sur Twitter que de nombreuses conclusions de l’étude coïncident avec les siennes, sans toutefois chiffrer cette amélioration de l’accélération de l’entraînement. Il a également reconnu que la censure rend le travail du METR plus difficile, mais a fait valoir que détailler ce qui motive l’accélération est une chose commercialement sensible qui pourrait donner à d’autres des indices pour aller plus vite.

En fin de compte, ces changements de conditions et tout le contenu « barré » font que le METR prévient qu’il ne sait pas vraiment dans quelle mesure tout ce qu’il a mesuré peut être transféré à des tâches diffuses ou à un impact réel. Ils ont analysé l’impact sur des tâches bien définies et faciles à noter automatiquement, mais reconnaissent également qu’ils ont peut-être sous-estimé l’accélération si l’automatisation s’améliore ou si les références ne correspondent pas à l’impact réel.

Allez, tout le monde est d’accord sur le fait que l’IA s’améliore à une vitesse étonnante et qu’un facteur clé est l’auto-amélioration, mais il faudrait faire davantage de tests et, surtout, voir si lorsqu’ils sont rendus publics, ils suppriment la censure pour pouvoir mieux mesurer l’impact.

À Simseo | Le PDG d’Anthropic a découvert une réalité : ses employés travaillent pour de l’argent, pas pour une « mission »