« Ils jouent avec nos vies » : un chercheur d’Anthropic estime qu’il y a 10 % de chances que l’IA anéantisse l’humanité

Il y a un chiffre qui est devenu viral sur Twitter ces jours-ci : plus de 10 %. Il est donc probable qu’Evan Hubinger, chercheur à Anthropic, pense que l’intelligence artificielle éliminera tous les humains au cours de la prochaine décennie. Ce commentaire soutient la décision de Jacob Coxon, un de ses collègues qui vient de quitter l’entreprise, dénonçant que les entreprises d’IA « jouent avec nos vies ». Ce pourcentage fait certes peur, mais il y a un problème avec ce chiffre : il ne veut absolument rien dire.

Peur de la superintelligence. Hubinger a en effet précisé qu’il considérait que le risque posé par les modèles d’IA actuels était faible. Pour lui, ce qui est inquiétant, c’est ce qui pourrait arriver : une superintelligence créée par une auto-amélioration récursive, ou en d’autres termes : des systèmes d’IA qui aident à créer des systèmes d’IA encore meilleurs. Pour Coxon, qui a préféré abandonner son travail – comme d’autres avant lui, également dans la compétition – les une ou deux prochaines années seront décisives et il demande qu’OpenAI et Anthropic ne se lancent pas dans cette course, ce qui est difficile à réaliser alors que l’IA est déjà utilisée pour accélérer la recherche sur l’IA.

Comment l’IA va-t-elle nous tuer ? Le Wall Street Journal divise les scénarios d’extinction évoqués par les experts en deux grandes familles. L’une, plus hollywoodienne, est la perte de contrôle : un système d’IA beaucoup plus intelligent pourrait avoir des objectifs incompatibles avec ceux de l’humanité et acquérir suffisamment de capacité pour nous empêcher de l’arrêter. L’autre est moins frappante, mais tout aussi inquiétante : nous continuons à contrôler l’IA, mais quelqu’un l’utilise pour créer un virus mortel, lancer des cyberattaques ou attaquer des infrastructures critiques.

10 % pourrait également être 90 %. Pour arriver au scénario dont parle Hubinger, il faudrait enchaîner une série d’événements décisifs. Il faudrait créer des systèmes d’IA bien supérieurs à nous, qu’ils puissent accélérer le développement de leurs successeurs, que cette accélération soit rapide et qu’ils acquièrent une autonomie suffisante pour que nous ne puissions pas les arrêter. Le fameux p(doom) (la probabilité d’extinction) n’est pour l’instant qu’une estimation subjective qui tente de mettre des chiffres dans l’incertitude. Ces 10 % ne sont pas mesurés expérimentalement et leur signification réelle est nulle car il n’existe aucune preuve ou preuve que cela ait un sens. Tout comme c’est 10 %, cela pourrait être 90 % ou 0 %.

Mais l’inquiétude existe. Hubinger n’est pas n’importe qui : il dirige la stratégie d’alignement d’Anthropic, ce qui signifie qu’il est chargé de veiller à ce que les modèles de l’entreprise fonctionnent en harmonie avec les êtres humains et poursuivent un objectif commun et bénéfique (notamment) pour l’humanité. Samuel Marks, un autre directeur d’Anthropic, explique que parmi les développeurs, il existe une réelle inquiétude face à un désastre potentiel, en particulier parmi les vétérans. Le fait que Coxon ait renoncé à sa participation financière dans l’entreprise renforce la valeur de ses biens ménagers, mais cela montre seulement qu’il y croit, et non que ses convictions sont correctes.

Anthropic ne fait pas les choses complètement mal. Dans une interview accordée à Wired, Coxon déclare qu’il considère Anthropic comme plus responsable qu’Anthropic en termes d’alignement et qu’il n’a détecté personne qui réduise ses efforts de sécurité. Pour lui, le problème est que justement celui qui réduit ces efforts est quelqu’un d’autre : un concurrent comme OpenAI, ou peut-être un laboratoire chinois d’IA. Il fait ici allusion au dilemme du prisonnier : même une entreprise convaincue qu’elle devrait arrêter le développement de l’IA a trop d’incitations à continuer si elle pense que d’autres ne le feront pas.

La Chine complique les choses. L’inquiétude exprimée par les experts occidentaux en IA n’est pas un cas isolé : en Chine, il existe une communauté croissante d’experts qui étudient la sécurité des agents d’IA, la perte de supervision humaine et l’auto-amélioration récursive. Le rapport State of AI Safety in China 2026 détecte précisément ces préoccupations, et des personnalités telles que Andrew Yao, lauréat du prix Turing, participent aux stratégies de sécurité et de gouvernance de l’IA. Bien sûr : il n’est pas courant que les responsables de DeepSeek, Alibaba ou Moonshot parlent de ces risques pour l’humanité. L’inquiétude existe, mais son expression publique est très différente de celle exprimée dans la Silicon Valley.

Le monde devrait s’unir. Coxon estime justement qu’un accord entre Anthropic et OpenAI ne serait que la première étape pour atténuer ces risques : idéalement, il y aurait un effort de coopération internationale impliquant la Chine. Dans cette alliance, par exemple, il devrait être question de contrôler l’informatique avancée de la même manière que le traitement des matières nucléaires. Il est important de noter ici que les États-Unis et la Chine se préparent ce mois-ci à leurs premières négociations bilatérales axées sur la sécurité de l’IA.

S’il y a tant de risques, pourquoi continuent-ils à les construire ? La raison est simple : ceux qui posent ces risques voient aussi l’autre côté des choses. Coxon explique comment l’IA peut aider à guérir des maladies, accélérer les découvertes scientifiques ou nous permettre d’atteindre une abondance extraordinaire. Il existe également une croyance parmi les entreprises d’IA selon laquelle si la superintelligence peut être créée, quelqu’un finira par le faire, il vaut donc mieux essayer que d’être laissé pour compte. L’inaction, qui stoppe le développement, finit par être pire.

Images | Simseo avec Magnifique

À Simseo | « Ce sera très mouvementé » : pourquoi Bill Gates estime que nous ne sommes pas préparés à ce qui nous attend avec l’IA