20 ans à anticiper l’Apocalypse : toutes les fois où quelqu’un a dit que l’IA allait tous nous tuer

« Il est urgent de réguler l’intelligence artificielle avant qu’elle ne devienne un danger pour l’humanité. » Il pourrait s’agir d’une phrase tirée de la lettre que Dario Amodei a publiée il y a quelques jours, mais non. Elon Musk l’a dit en 2017, alors que ChatGPT, Claude ou aucune des IA que nous utilisons aujourd’hui n’existaient pas.

L’idée que l’IA devienne incontrôlable et finisse par menacer notre existence même n’est pas nouvelle. Les croyants émettent depuis plus d’une décennie des avertissements très similaires à ceux qui font la une des journaux aujourd’hui. Avant, ils passaient plus inaperçus, mais aujourd’hui, ils ont réussi à capter l’attention du monde entier.

Les débuts du mouvement « doomer »

Le mouvement pour la sécurité de l’IA est né bien avant l’existence d’Anthropic et d’OpenAI. Les premiers vestiges de ces idées commencent avec la création du MIRI, acronyme de Machine Intelligence Research Institute, en 2000, même si ce n’est qu’en 2005 qu’ils ont commencé à se concentrer sur les risques existentiels que présentait l’IA.

En 2009, l’un des cofondateurs de MIRI, Eliezer Yudkowsky, a contribué à la création de LessWrong, une communauté dont l’une des grandes obsessions était la menace d’une singularité technologique. Ici coexistaient les idées du transhumanisme, un mouvement intellectuel qui propose l’amélioration de l’être humain grâce à la technologie, et de l’altruisme efficace, un courant qui tente d’identifier, avec des outils quantitatifs, les moyens les plus efficaces pour générer le plus grand bien possible dans le monde.

De la confluence de ces deux courants est née une vision bien précise : l’intelligence artificielle finirait inévitablement par dépasser l’humain et, si elle n’était pas construite en adéquation avec nos objectifs, elle constituerait une menace pour la survie de l’humanité.

La première venue du pessimisme de l’IA

Ces idées ne sont pas passées inaperçues auprès des élites technologiques et, en parallèle, de grandes personnalités du secteur ont fait don de millions de dollars au mouvement. Ce fut le cas d’Elon Musk, qui a fait don en 2015 de 10 millions de dollars en bourses pour former des chercheurs en IA afin de contribuer à la création de technologies sûres pour les humains.

C’est également en 2015 qu’Elon Musk a signé un manifeste avec d’autres personnalités du monde de la technologie et de l’IA telles que Demis Hassabis de DeepMind, Geoffrey Hinton, Yann LeCun, Ilya Sutskever, Steve Wozniak et même Stepeh Hawking lui-même, entre autres. Le manifeste appelait à davantage de recherches pour renforcer la sécurité et appelait à ce que « nos systèmes d’intelligence artificielle fassent ce que nous voulons qu’ils fassent ». Cette lettre a été publiée par le Future of Life Institute, une organisation à but non lucratif qui met depuis en garde contre les risques de l’IA.

Bill Gates s’est joint à la conversation et a exprimé son inquiétude quant à la création possible d’une superintelligence : « Premièrement, les machines feront beaucoup de travail pour nous et elles ne seront pas super intelligentes. Cela devrait être positif si nous le gérons bien. Cependant, quelques décennies plus tard, les intelligences seront suffisamment fortes pour devenir une préoccupation. »

À cette époque, des avertissements commençaient déjà à être entendus de la part d’importantes personnalités technologiques, mais leur discours était plutôt prudent et ne dégageait pas l’urgence ou le catastrophisme que nous avons vu des années plus tard.

Le catastrophisme post-ChatGPT

Il a traversé une période assez calme les années suivantes, mais en 2023 il est revenu bien plus fort avec la publication de deux lettres ouvertes avertissant des dangers. À cette époque, le développement de l’IA battait son plein et GPT-4 venait tout juste de sortir.

La première lettre, à nouveau publiée dans Future of Life, demandait d’arrêter la formation de nouveaux modèles pendant au moins six mois. La lettre était signée par des personnalités telles que Steve Wozniak, Elon Musk, Jaan Tallinn et Max Tegmark.

Quelques mois plus tard, en mai, une deuxième lettre a été publiée par l’ONG Center for AI Safety et c’est ici qu’est apparu le mot magique : extinction. C’était la phrase exacte : « Atténuer le risque d’extinction dû à l’IA devrait être une priorité mondiale, au même titre que d’autres risques à l’échelle sociétale tels que les pandémies et la guerre nucléaire. » Parmi les signataires figuraient Geoffrey Hinton, Dario Amodei, Demis Hassabis ou encore Sam Altman.

En parlant de Geoffrey Hinton, le prix Nobel de physique a été l’une des voix les plus pessimistes et a le plus insisté sur les risques d’une IA qui surpasse les humains.

En 2025, Eliezer Yudkowsky et Nate Soares, respectivement fondateur et actuel président de MIRI, publient le livre « Si quelqu’un le construit, tout le monde meurt : pourquoi une IA surhumaine nous tuerait tous ». Le titre indique déjà très clairement de quoi il s’agit et montre à quel point le discours de ce mouvement est devenu de plus en plus alarmiste au fil des années.

10 % de chances que l’IA anéantisse l’humanité

Ce n’est pas la déclaration la plus folle que nous ayons entendue, mais c’est celle qui a déclenché la polémique ces jours-ci. La phrase a été prononcée par Evan Hubinger, actuel responsable de l’alignement chez Anthropic. Nous parlons de la personne responsable de la sécurité de l’un des deux laboratoires d’IA qui développent des modèles frontières. Ce n’est pas un ancien employé mécontent, il travaille actuellement chez Anthropic, il connaît les modèles et c’est lui qui veille à leur sécurité, donc il connaît quelque chose sur le sujet.

Ce que dit Hubinger est pertinent, mais il est également pertinent de savoir d’où il vient. Après avoir terminé sa formation en mathématiques et en informatique, Evan Hubinger a commencé à travailler au MIRI, où, comme nous l’avons déjà vu, tout ce mouvement a commencé à prendre forme. Il a ensuite rejoint le Center for AI Safety, l’ONG qui a publié cette lettre parlant d’extinction en 2023.

Cela ne veut pas dire qu’il n’y a pas de risques et que tout n’est que fantasme d’un groupe de visionnaires exagérés. Des incidents comme OpenAI et Hugging Face ont clairement montré que les modèles peuvent causer des dommages et qu’il est crucial de les aligner sur nos objectifs. Aujourd’hui, les choses ont beaucoup changé, les modèles d’IA ne sont plus l’avenir, mais le présent, et avec l’auto-amélioration récursive, les risques peuvent se multiplier. Cependant, il y a du chemin à parcourir pour parler d’extinction en moins de 10 ans.

Ce groupe répète les mêmes slogans depuis plus d’une décennie : une intelligence artificielle qui surpassera inévitablement les êtres humains, un risque existentiel qui exige une action immédiate et un petit groupe qui prétend avoir un plan pour éviter l’apocalypse. En fin de compte, ces types de messages apocalyptiques attirent beaucoup d’attention, mais en même temps ils détournent l’attention des risques réels.

Images | Simseo avec Magnifique

À Simseo | Arrêter l’IA, cela revient à protéger l’humanité. C’est aussi un moyen très efficace d’arrêter DeepSeek, Qwen et Mistral