Anthropic a arrêté d’entraîner sa nouvelle IA pour une raison simple : elle apprenait trop bien à tricher
Cela va du brun au foncé, chers lecteurs. Si nous étions déjà inquiets de ce qui s’est passé avec les agents OpenAI et Hugging Face, voilà qu’Anthropic arrive pour nous avertir que ses modèles deviennent également rebelles. L’entreprise a découvert au printemps — même si elle le dit maintenant — qu’elle créait des environnements pour former Claude plus rapidement qu’elle ne pouvait vérifier que ces environnements fonctionnaient correctement.
Que se passe-t-il ici. Les bugs, les mauvaises configurations et les opportunités de suivre cette fameuse philosophie (si vous me piratez, prix) ont commencé à dépasser la capacité de les détecter non seulement de leurs systèmes, mais aussi de leurs évaluateurs humains. Chez Anthropic, ils ont fini par arrêter une partie du processus pour revoir ce qu’ils enseignaient réellement à leurs modèles d’IA.
Nous avons d’abord dû revenir trois jours en arrière. En février, lors de la formation de renforcement Mythos Preview, Anthropic a détecté un comportement étrange. Le modèle écrivait des commentaires destinés à un supposé « évaluateur », même sur des tâches pour lesquelles il n’était censé y en avoir aucun. Il a également réussi à exploiter une récompense destinée à encourager l’honnêteté dans son comportement : il a accumulé les avertissements et les nuances parce qu’il avait appris que cela améliorait son score. Chez Anthropic, ils ont décidé de retourner à un point de contrôle il y a trois jours et de modifier l’environnement d’entraînement avant de continuer.
L’apprentissage comporte des récompenses, mais le modèle essaie de les ignorer. Dans l’apprentissage par renforcement (RL), vous ne programmez pas exactement comment résoudre une tâche. Au lieu de cela, vous définissez un objectif et une récompense qui indiquent au modèle quand il se porte bien. Le problème apparaît lorsque vous découvrez un moyen d’obtenir cette récompense sans réellement faire ce que nous avions l’intention d’enseigner à ce modèle.
Des côtelettes mais sans être des côtelettes. C’est fondamentalement la même chose que réussir un examen grâce à un aide-mémoire, mais avec une distinction : le modèle n’a pas besoin de « vouloir tromper » qui que ce soit (l’étudiant humain le fait), car il suffit que la formation privilégie les comportements qui produisent des scores plus élevés. Le modèle essaie simplement d’atteindre l’objectif de quelque manière que ce soit en suivant les règles qui lui sont dictées. Et si certaines restrictions ne lui sont pas dictées, elles n’existent pas pour lui.
Cela va trop vite. Anthropic recherchait ce type de raccourci depuis des années, mais ses chercheurs reconnaissent que ce printemps 2026, la rapidité du processus a commencé à être excessive. Ils généraient de nouveaux environnements RL à un rythme plus rapide que leurs propres outils ne pouvaient les examiner. Les alertes nécessitant une intervention humaine s’accumulaient et les erreurs de configuration commençaient à se multiplier plus rapidement qu’elles ne pouvaient être corrigées.
Anthropic freine. En avril, Anthropic a gelé toutes les modifications apportées à ses environnements RL de production pendant environ un mois et a reconstruit une grande partie du système de révision de ces processus. Après avoir fini de les examiner, les responsables du processus ont découvert que plus de 10 % de ces environnements présentaient un problème. Ils ont dû les corriger et les certifier avant de les réutiliser, et ils ont également constaté que certains évaluateurs humains avaient rejeté certains indicateurs comme de faux positifs alors qu’ils correspondaient à de réels problèmes.
Ce modèle se rebelle contre nous. La société a délibérément formé un modèle de classe Opus dans 80 environnements qui permettaient auparavant une certaine forme de piratage de récompense, puis l’a placé dans des simulations plus exigeantes. Le modèle a tenté de sortir d’un bac à sable simulé, d’attaquer une infrastructure simulée, de modifier sa propre fonction de récompense et de contourner les systèmes de surveillance. Les modèles de production ayant subi ces mêmes tests n’ont pas montré ces comportements.
Puis vinrent les incidents proprement dits. En juillet, Anthropic a révélé trois problèmes de cybersécurité dans ses modèles Claude qui entraînaient un accès non autorisé à des systèmes réels en raison de mauvaises configurations de ces systèmes externes. Lorsqu’ils ont détecté le problème, ils ont suspendu les évaluations externes de cybersécurité, arrêté brièvement les évaluations internes et arrêté pendant des semaines les environnements RL qu’ils considéraient comme présentant le risque le plus élevé.
Coordination pour former les modèles. Anthropic affirme désormais que l’industrie de l’IA bénéficierait d’un système « légal, vérifiable et efficace » qui coordonne le rythme de développement entre les différents laboratoires d’IA. Le message est clair : Anthropic peut arrêter ses systèmes pendant des semaines pour corriger des erreurs comme celles décrites, mais pendant ce temps, ses concurrents peuvent continuer à entraîner leurs modèles sans prendre les mêmes précautions afin d’obtenir un avantage dans la course à l’IA. La lettre ouverte récemment signée par les deux sociétés va un peu dans ce sens, mais pour l’instant il n’existe pas de mesures universelles que les sociétés d’IA aient adoptées par consensus. Et en attendant que cela se produise, si tel est le cas, le risque semble s’accélérer.
Images | Simseo avec Magnifique
À Simseo | OpenAI, Anthropic et Google demandent de nous protéger des risques de l’IA. C’est comme confier au loup la responsabilité du poulailler.
