« Nous devons ralentir le rythme. » Dario Amodei prévient qu’une IA pourrait prendre le contrôle d’Internet dans moins d’un an
Dario Amodei change d’avis. Le PDG d’Anthropic s’est prononcé sur le rythme des améliorations et des progrès de l’intelligence artificielle, demandant que l’on freine pour des raisons de sécurité. En 2023, Amodei avait exclu une idée similaire, affirmant que les modèles de l’époque n’étaient pas assez puissants.
Sa demande intervient quelques jours seulement après que Jacob Coxon a quitté Anthropic en dénonçant que les entreprises d’IA « jouent avec nos vies » et qu’un de ses collègues a expliqué sur Twitter qu’il y a 10 % de chances que l’IA anéantisse l’humanité au cours de la prochaine décennie.
Pourquoi maintenant. Amodei souligne deux raisons spécifiques : la première est l’auto-amélioration récursive, c’est-à-dire que l’IA progresse beaucoup plus rapidement grâce à sa capacité croissante à construire la prochaine génération. L’ensemble du secteur le fait déjà, y compris votre entreprise ou son grand rival, OpenAI. La deuxième raison est l’incident survenu fin juillet, lorsque certains agents d’OpenAI AI ont décidé de se connecter à Internet et de pirater Hugging Face. Amodei explique que des événements similaires, bien que moins graves, se sont également produits à Anthropic.
Cela a été la goutte d’eau qui a fait déborder le vase, c’est pourquoi Amodei prévient avec des délais et des chiffres très précis sur ce qui nous attend : au rythme actuel, dans 6 à 12 mois, une IA plus puissante et cette désobéissance pourrait prendre le contrôle d’une grande partie d’Internet, ce qui causerait des dommages potentiels de plusieurs centaines de milliards de dollars. Et il lance un avertissement aux marins : cela peut arriver à n’importe quelle entreprise d’intelligence artificielle.
Ce que propose Amodei. Le PDG d’Anthropic n’a pas seulement été confronté aux délais et aux risques, il a également pris des mesures concrètes :
- Anthropic s’engage unilatéralement à donner un accès permanent à des évaluateurs tiers indépendants comme METR, avec des autorisations presque équivalentes à celles de ses employés à risque (avec quelques exceptions légales ou de confidentialité) et avec la liberté de publier leurs conclusions sans contrôle éditorial de l’entreprise.
- Coordination entre les entreprises des pays démocratiques pour établir des normes et des limites de vitesse communes.
- Coordination mondiale avec des gouvernements autoritaires, mentionnant explicitement la Chine, pour parvenir à certains accords allant de l’interdiction d’utilisations spécifiques telles que les armes biologiques, à l’exigence de tests de sécurité avant le lancement, à la limitation de vitesse à l’auto-amélioration récursive et même à une pause mondiale vérifiable dans le cas le plus extrême.
Le PDG d’Anthropic n’est pas seul. Quelques heures après sa publication, Elon Musk a réagi sur X/Twitter avec un bref « Dario a raison » et citant le fil de discussion d’Amodei. Il faut rappeler qu’Anthropic utilise les centres de données de Musk. Le PDG d’OpenAI s’est montré plus prolifique et a expliqué qu’ils débattaient de la question depuis des semaines.
Ainsi, il a profité de la situation pour annoncer qu’OpenAI donnera également accès à des évaluateurs externes. Par curiosité, OpenAI avait déjà suspendu une partie de sa formation pour des raisons similaires le 18 août, comme le rapportait X/Twitter. Le fait que des concurrents directs se mettent d’accord si rapidement sur quelque chose sans aucun accord formel officiellement en place pourrait indiquer qu’il existe une réelle inquiétude. Ou une manière de calmer les eaux après une semaine aussi mouvementée.
Cet éléphant dans la pièce appelé Chine. Il convient de rappeler quelque chose : il s’agit d’une lettre du patron d’une entreprise qui rivalise pour mener la course à l’IA et qui, bien qu’elle exprime son inquiétude, a de nombreux intérêts en jeu. Dario Amodei le dit haut et fort : « Je suis d’accord avec le secrétaire d’État (Scott) Bessent sur le fait que le leadership chinois en matière d’IA représenterait un grave danger pour les États-Unis et le monde. »
En fait, il préconise ouvertement le maintien des contrôles sur les exportations de puces et la réduction de la distillation non autorisée de modèles par les laboratoires chinois, et que si les mesures proposées sont bien exécutées, elles ralentiraient suffisamment l’avancée de la Chine pour élargir l’avance américaine dans l’industrie au cours des 3 à 5 prochaines années. En bref : le plan d’Amodei vise à donner d’abord l’avantage aux États-Unis et aux pays de son entourage, puis à négocier des frontières communes.
L’(autre) grand perdant. Le problème pour Amodei et les États-Unis est que des modèles chinois comme Qwen ou DeepSeek sont déjà téléchargés gratuitement à partir de référentiels, sans dépendre des puces contrôlées par les États-Unis. De plus, les normes proposées par Amodei sont plus faciles à respecter pour des entreprises comme Anthropic ou OpenAI, qui donnent accès à leur IA via un service cloud qu’elles contrôlent, que pour quelqu’un qui publie ouvertement un modèle téléchargeable par tous. Car ce que le PDG d’Anthropic ne dit pas ouvertement, c’est que ses mesures pourraient rendre extrêmement difficile la sortie publique de versions puissantes de l’IA, concentrant ainsi ce développement entre quelques mains, celles des grandes technologies.
À Simseo | « Une menace générale pour le travail intellectuel » : les esprits mathématiques les plus brillants, contre le mode opératoire de l’IA
À Simseo | « Ce sera très mouvementé » : pourquoi Bill Gates estime que nous ne sommes pas préparés à ce qui nous attend avec l’IA
Couverture | ChatGPT
