Nous entendons depuis des années qu’une superintelligence pourrait tous nous tuer. Entre «pourrait» et «ça va nous éteindre», il y a un gouffre

Nous avons déjà parlé de la façon dont Evan Hubinger, chef de la division alignement chez Anthropic, a publié un message controversé sur X dans lequel il indiquait qu’il pensait qu’il y avait 10 % de chances que l’IA anéantisse la race humaine. D’autres personnalités ont évoqué cette possibilité dans le passé, et même si ces scénarios ne sont pas impossibles, ce 10 % n’est qu’une estimation subjective d’une technologie qui n’existe même pas. Et ce n’est pas tout : entre la conception d’un virus sur un ordinateur et l’extermination de 8 milliards de personnes, il y a le monde réel.

L’exemple du supervirus. L’une des possibilités fréquemment évoquées est la façon dont cette future superintelligence potentielle pourrait finir par concevoir un virus dévastateur. Les outils d’IA pour la biologie s’améliorent rapidement et il existe déjà des modèles capables de concevoir des virus fonctionnels qui infectent les batteries, et certains pensent que cela augmente le risque futur de développer des armes biologiques. Mais il faut aussi noter que ces expériences ont nécessité des scientifiques d’élite, des laboratoires avancés, de nombreuses ressources et des centaines de tests. Les modèles actuels ne permettent pas de concevoir des virus capables d’infecter les humains (pour le moment).

Facile, rien. David Bellamy, qui travaille à l’Institute of Foundation Models (créateurs du modèle K2 Horizon), a expliqué dans X comment il est probablement l’une des rares personnes à avoir formé un modèle frontière et conçu des virus personnalisés avec celui-ci. Selon lui, la menace dont certains parlent est « une pure farce ».

Concevoir le virus n’est pas le problème. En fait, Bellamy est d’accord avec certaines des prémisses possibles. Un LLM peut concevoir un génome viral qui pourrait être synthétisé et même infectieux. Cela pourrait également modifier un virus connu, mais ce n’est pas là le goulot d’étranglement. Le véritable défi, dit-il, est de créer un pathogène doté de propriétés très précises, capable de vaincre nos défenses. Selon lui, cela nécessite des expérimentations répétées avec le monde physique.

Les cellules restent des cellules. Cette distinction entre le numérique et le physique est importante. L’amélioration récursive d’une IA peut très bien fonctionner dans des domaines tels que la programmation ou les mathématiques, où vous pouvez générer des solutions et tester immédiatement si elles fonctionnent des millions de fois. Mais la biologie ne fonctionne pas ainsi : il faut synthétiser du matériel, faire pousser des cellules et réaliser des expériences. Tout ce flux est limité par les lois de la physique.

Pas même avec les meilleurs laboratoires. Imaginons, nous dit Bellamy, que nous disposions d’installations d’une valeur de plus de 100 millions de dollars avec tout l’équipement nécessaire et que tout puisse être contrôlé avec des API afin qu’une IA puisse expérimenter sans intervention humaine. Le problème est que ces installations n’existent pas aujourd’hui : Bellamy a travaillé sur un projet comme celui-ci et a souligné que, entre autres obstacles, il serait confronté aux contrôles déjà appliqués par les fournisseurs de synthèse génétique. Bien que le génie génétique puisse déjà modifier les agents pathogènes, l’Académie nationale des sciences des États-Unis a mis en garde contre un problème fondamental : nos connaissances biologiques sont limitées et de nombreuses modifications génétiques, plutôt que d’améliorer un virus, lui nuisent.

Se souvenir du passé (tragique). La peste noire a tué environ entre 30 et 50 % de la population européenne entre 1347 et 1352. Avec l’arrivée de maladies d’Europe en Amérique après sa découverte (bien qu’il y ait d’autres causes), l’impact a été encore plus extrême : certaines estimations estiment que les épidémies ont causé jusqu’à 90 % des décès dans certaines populations indigènes. Et la grippe de 1918 a tué entre 1 et 5 % de la population mondiale. Ces catastrophes ont été énormes, mais aucune n’a failli provoquer l’extinction de la race humaine.

Instinct de survie. Au siècle dernier, l’humanité a survécu à deux guerres mondiales, et la seconde a fini par provoquer la création de la bombe atomique. Pendant la guerre froide, nous avons accumulé des milliers de têtes nucléaires et il y a eu des moments où nous avons été dangereusement près de les utiliser. Nous sommes toujours là pour une raison : les êtres humains réagissent aux menaces : nous créons des systèmes d’alerte, des vaccins, des antibiotiques, des refuges, des traités et des organisations internationales. Les menaces évoluent, sans aucun doute, mais les défenses aussi.

Mais nous ne sommes pas indestructibles. Croire que les êtres humains peuvent survivre à pratiquement tout serait également une erreur. Un agent pathogène conçu par une IA supérieure pourrait posséder des propriétés allant au-delà de l’évolution naturelle et pourrait se combiner à des cyberattaques ou au sabotage d’infrastructures pour ralentir notre capacité à réagir. Pourtant, l’histoire démontre quelque chose d’important : c’est une chose de tuer des millions d’êtres humains et une autre d’éliminer toute l’humanité.

Tout peut arriver, mais… Une superintelligence pourrait théoriquement surpasser les meilleurs virologues et découvrir des mécanismes biologiques inconnus, et pourrait même parvenir à la produire en masse et à la libérer. Même si l’on ne peut pas exclure qu’une telle situation se produise, les estimations de ce risque et de ses délais restent extrêmement ambiguës.

Ce discours catastrophique nous semble familier. En 2019, OpenAI a décidé de ne pas publier initialement le GPT-2 complet de peur qu’il ne soit utilisé pour générer de la désinformation, du spam ou des usurpations d’identité à grande échelle. Il a été publié par étapes et, des mois plus tard, il a reconnu qu’il n’avait pas observé d’effets d’abus significatifs justifiant sa fermeture et a publié le modèle complet. Sept ans plus tard, Anthropic récupérait un récit similaire, mais avec des capacités bien plus inquiétantes : il limitait Mythos parce qu’il pouvait découvrir de graves vulnérabilités et faciliter les cyberattaques, au point qu’il se demandait s’il inaugurait l’ère des modèles « trop dangereux pour être publiés ».

Les choses ont bien sûr changé. Mythos est bien plus performant que GPT-2 et ses risques ne sont pas directement comparables, mais le précédent invite à une certaine prudence : l’histoire de l’IA regorge de capacités qui semblaient extraordinairement dangereuses lorsqu’elles sont apparues et qui se sont ensuite révélées plus gérables lorsque nous avons pu observer leurs effets dans le monde réel. Cela ne prouve pas que les avertissements actuels soient faux ; Il rappelle pourquoi il est important de distinguer un risque anticipé d’un risque démontré.

Images | Animation médicale fusion

À Simseo | La peste noire continue de cacher une énigme près de sept siècles plus tard. La réponse était dans certains arbres des Pyrénées