Dario Amodei a fondé Anthropic parce qu'OpenAI ne prenait pas au sérieux les risques de l'IA. Maintenant tu vas céder à ces risques

Anthropic est au milieu d'un conflit majeur avec le Pentagone aux États-Unis qui pourrait finir par façonner l'avenir de l'entreprise. Fondée avec la sécurité pour raison d'être, elle vient de réécrire les règles qui la définissaient. Et sa « Responsible Scaling Policy », le document qui établissait quand arrêter le développement d’un modèle trop dangereux, s’est transformée en une simple feuille de route aux objectifs flexibles.

Et ce changement est bien plus important qu’il n’y paraît. Pas seulement pour Anthropic, mais pour le reste de l’industrie. Allons aux ennuis.

Qu'est-ce qui a changé exactement. Jusqu'à présent, la politique d'Anthropic stipulait que l'entreprise interromprait la formation ou retarderait le lancement d'un modèle si ses capacités dépassaient la vitesse à laquelle des garanties suffisantes pourraient être développées. C'est-à-dire : si le modèle était trop puissant pour être contrôlé en toute sécurité, il était arrêté.

C'est fini. La nouvelle politique élimine ce mécanisme de freinage automatique et le remplace par une série d'engagements publics, ainsi que des rapports périodiques sur les risques audités par des tiers. Le changement a été confirmé par l'entreprise elle-même dans un communiqué officiel.

Pourquoi l’ont-ils fait ? L'entreprise avance deux raisons principales. Le premier est l’environnement concurrentiel : OpenAI, Google et xAI progressent sans ce type de restrictions. « Nous n'avons pas pensé qu'il était logique de prendre des engagements unilatéraux si les concurrents avancent à toute vitesse », a déclaré Jared Kaplan, directeur scientifique d'Anthropic, au Time. La seconde, comme il ne pouvait en être autrement, est politique : Washington a tourné le dos à la régulation de l’IA, et Anthropic reconnaît dans son blog que le climat anti-réglementaire actuel rend ses propres garde-fous asymétriques par rapport au reste du secteur.

Paradoxe. Du point de vue d'Anthropic, il ne s'agit pas d'un renoncement à la sécurité, mais d'une décision prise sur cette base. Leur raisonnement : si les acteurs les plus responsables (ils tombent dans ce sac, logiquement) s’arrêtent tandis que les moins prudents avancent, le résultat net est « un monde moins sûr ».

La logique a une certaine cohérence, mais elle implique aussi d’accepter que la sécurité dépend de ce que fait la concurrence. Et c'est un jeu très dangereux.

Contexte. Anthropic a été fondée par d'anciens dirigeants d'OpenAI, dont Dario Amodei, qui ont quitté cette entreprise précisément parce qu'ils estimaient qu'elle ne prêtait pas suffisamment attention aux risques de l'IA. La nouvelle politique intervient à un moment où plusieurs chercheurs en sécurité ont quitté l'entreprise. Comme le partage le Wall Street Journal, l'un d'eux, Mrinank Sharma, a écrit ce mois-ci une lettre à ses collègues affirmant que « le monde est en danger » à cause de l'IA, avant d'annoncer son départ. En effet, selon des sources proches du média, son départ serait en partie lié à cette décision.

Que se passe-t-il avec le Pentagone. L'annonce intervient en pleine tension avec le Pentagone. Le secrétaire américain à la Défense, Pete Hegseth, a lancé un ultimatum à Anthropic le mardi même où le changement de politique était rendu public : modifier ses lignes rouges sur l'utilisation de Claude ou risquer de perdre un contrat de 200 millions de dollars avec le ministère de la Défense. Anthropic a clairement indiqué que les deux questions sont indépendantes, mais la coïncidence temporelle n'est pas passée inaperçue.

Ce qui reste de la politique de sécurité. Ce n'est pas un abandon total. Anthropic reste déterminé à retarder le développement ou le déploiement de modèles « hautement performants » dans des circonstances spécifiques, et s'engage à publier des rapports de risques détaillés et vérifiés en externe tous les trois à six mois. L'entreprise sépare également désormais ses propres directives internes de ses recommandations pour le reste du secteur, reconnaissant implicitement que l'engagement en faveur d'une « course vers le sommet », que d'autres entreprises adoptent, n'a pas fonctionné comme prévu.

Image de couverture | Wikimedia Commons et Anthropique

À Simseo | Les États-Unis ont un message pour les entreprises d’IA : si nécessaire, l’IA appartient à l’État