Anthropic a construit un meilleur modèle que Mythos. Il a également décidé que le monde ne pouvait pas l’utiliser

Anthropic dispose d’un modèle d’IA que nous ne pouvons pas tester. Simplement appelé « Modèle 2 », il est encore plus puissant que Mythos 5 et, selon l’entreprise elle-même, offre une « amélioration mesurable » dans de nombreuses tâches qu’elle effectue en interne. Ce n’est pas un saut aussi grand que celui réalisé lors du lancement de Mythos Preview, mais pour ceux qui en sont responsables, le modèle est trop puissant pour être lancé publiquement. Si cette histoire vous semble familière, c’est parce qu’elle devait vous paraître familière.

Un modèle qui construit l’avenir. Anthropic indique qu’elle utilise intensivement Mythos 5 et Model 2 dans le domaine de l’ingénierie logicielle, de la programmation, de la génération de données ou de l’utilisation d’agents d’IA persistants au sein de ses flux de travail commerciaux. Leur rapport découvre que Claude écrit déjà la majeure partie du code qui finit par être fusionné dans les référentiels de production d’Anthropic. Le modèle 2 n’est pas accessible au public, mais il contribue déjà à créer ce qui va bientôt arriver.

Il n’y a aucun monstre en vue. L’évaluation globale d’Anthropic continue de placer le risque que le modèle cause des dommages graves à un faible niveau. En fait, lors de la phase d’approbation pour usage interne, Anthropic n’a pas trouvé que le modèle 2 avait un pire alignement que le Mythos 5. Néanmoins, son estimation générale du risque de « désalignement » dans des situations à fort impact est passée de « très faible » à « faible », en partie à cause de l’incertitude générée par les derniers scandales de cybersécurité dont nous avons eu connaissance dans ses modèles ou dans ceux d’OpenAI.

Nous avons besoin de meilleurs tests. L’entreprise reconnaît également qu’elle est moins confiante qu’auparavant pour tirer des conclusions sur les risques liés à ces nouveaux modèles. La raison en est que plusieurs évaluations spécifiques sont déjà saturées : les modèles se sont tellement améliorés que ces benchmarks ne sont plus d’une grande utilité. Avec le Modèle 2, ils n’ont même pas exécuté toute leur batterie de tests parce que, tout simplement, ils n’ont pas l’intention de le lancer publiquement.

Des modèles d’IA engendrent des modèles d’IA. Dans ce rapport, Anthropic soulève également quelque chose d’intéressant et d’inquiétant à la fois. Ses modèles accélèrent et augmentent la vitesse à laquelle progressent la recherche et le développement de produits. Non seulement dans le domaine des logiciels, mais dans d’autres domaines comme la robotique, la biotechnologie, l’énergie ou les semi-conducteurs. Ils ne croient pas que ni le Mythe 5 ni le Modèle 2 puissent remplacer leurs chercheurs, mais plus ces modèles effectuent de travaux de recherche, plus il semble facile de penser que tôt ou tard un nouveau modèle aidera à former et à améliorer le suivant.

Le dilemme des modèles trop puissants. OpenAI retarde également son modèle de nouvelle génération, Astra, car il n’a pas pu exclure qu’il soit trop performant dans le domaine de la cybersécurité. La tendance est certes frappante : les startups d’IA entrent dans une phase où elles terminent la formation d’un modèle et doivent ensuite décider de le publier ou non. Jusqu’à présent, dès qu’ils développaient un nouveau modèle, ils le lançaient, mais maintenant il y a cette phase (nécessaire) d’évaluation et de savoir jusqu’où le modèle peut aller avant de le lancer.

Tout va trop vite. Anthropic n’a pas arrêté son développement et continue de former des modèles plus avancés, mais les nouvelles arrivées ces dernières semaines reflètent une situation paradoxale. Même en considérant que le risque de déployer un modèle est faible, comme dans ce cas, les entreprises ne savent plus clairement qu’elles doivent le lancer au cas où elles casseraient quelque chose. Et là, un nouveau besoin apparaît : il faut de plus en plus savoir avec certitude que les modèles ne vont pas exagérer avant de les lancer.

À Simseo | Avoir nos propres puces IA est la dernière grande obsession des grandes entreprises technologiques. Anthropique ne sera pas moins