Évaluer les risques du terrorisme existentiel et de l’IA

Gary Ackerman, professeur agrégé et doyen associé à l’Université d’Albany College of Emergency Preparedness, Homeland Security and Cybersecurity (CEHC) de l’Université d’État de New York, a passé des décennies à étudier le terrorisme dans le monde, depuis les motivations et les capacités des groupes terroristes jusqu’aux les stratégies d’atténuation utilisées par les gouvernements pour s’en défendre.

Le mois dernier, Ackerman a publié un article dans le Journal européen de réglementation des risques » qui a attiré beaucoup d’attention médiatique : « Terrorisme existentiel : les terroristes peuvent-ils détruire l’humanité ? L’article, co-écrit par Ackerman avec Zachary Kallenborn du Centre d’études stratégiques et internationales (CSIS), explore la plausibilité des organisations terroristes utilisant des technologies émergentes telles que l’IA pour commettre des dommages existentiels, y compris l’extinction humaine.

Ackerman a dirigé plus de 10 grands projets de recherche parrainés par le gouvernement au cours des cinq dernières années pour aborder la politique et les opérations antiterroristes, et a témoigné devant le Comité sénatorial de la sécurité intérieure sur les motivations terroristes de l’utilisation d’armes nucléaires. Il est également enquêteur principal et co-fondateur du premier Center for Advanced Red Teaming (CART) du pays hébergé au CEHC.

Dans cette séance de questions-réponses, Ackerman discute du terrorisme existentiel et des menaces qu’il représente, de ce qui est fait pour empêcher l’utilisation de l’IA comme arme et pourquoi il a jugé nécessaire de publier maintenant un article sur ce sujet.

Comment définissez-vous le terrorisme existentiel ?

Nous définissons le terrorisme existentiel comme un terrorisme qui causera suffisamment de tort à la pérennité de l’humanité, soit en anéantissant complètement la population, soit en la réduisant à un nombre non viable. Une autre compréhension du risque existentiel dont nous discutons est la prévention de l’épanouissement humain, dans lequel l’espèce humaine se retrouve coincée dans un cycle dans lequel elle ne peut pas croître, comme dans une société totalitaire mondiale qui opprime toute l’humanité. Mais pour les besoins de nos recherches, nous définissons le terrorisme existentiel comme un terrorisme qui provoque (ou est sur le point de provoquer) l’extinction de l’humanité.

Lorsque les gens pensent à ce qui pourrait détruire l’humanité, ils pensent au changement climatique, à la guerre nucléaire ou à une pandémie, et non au terrorisme. Certains affirment que le terrorisme à cette échelle n’est visible que dans les films de science-fiction ou de James Bond. Nous avons d’abord eu la même réaction, mais nous avons ensuite réalisé que personne n’avait vraiment pris ce sujet au sérieux. Nous avons donc décidé d’examiner plus en profondeur si les terroristes pourraient un jour causer un degré de préjudice susceptible de mettre en danger l’existence de l’humanité.

Comment les technologies émergentes comme l’IA contribuent-elles à la menace du terrorisme existentiel ?

Il est vraiment impossible pour un individu ou un petit groupe de terroristes de détruire l’humanité dans la plupart des cas à moins de disposer d’un pouvoir de pression extrême. L’un des moyens par lesquels ils peuvent obtenir un effet de levier consiste à recourir à une technologie habilitante telle que l’IA, car elle peut agir comme un multiplicateur de force, voire même causer des dommages jusqu’à l’extinction. Un exemple serait si des terroristes pirataient une IA existante, par exemple, qui contrôle des systèmes d’armes nucléaires et déclenchaient une guerre nucléaire.

Une autre option serait si les terroristes créaient une IA malveillante et lui donnaient pour instruction de détruire l’humanité, bien que cette option puisse être extrêmement difficile à mettre en œuvre et reste hautement spéculative. En effet, nous ne disposons pas encore du type d’IA qui pourrait détruire l’humanité à elle seule, et nous ne savons pas vraiment à quelle distance nous en sommes – cela pourrait prendre cinq ans, 50 ans ou peut-être jamais.

La seule technologie actuelle que les terroristes pourraient produire et déployer eux-mêmes pour créer une menace existentielle est la biotechnologie. Un exemple de ceci serait si les terroristes créaient une maladie pandémique qui se reproduirait d’elle-même, extrêmement contagieuse et provoquerait des taux de mortalité élevés, mais cela nécessiterait des connaissances techniques extrêmement élevées et un équipement spécialisé. Cela explique pourquoi il est très peu probable que des terroristes provoquent directement la fin de l’humanité.

D’un autre côté, les terroristes pourraient causer des dommages indirectement en supprimant les garanties ou en nous empêchant de minimiser d’autres risques. Par exemple, les terroristes pourraient saboter une fusée que nous pourrions envoyer dans l’espace pour détourner une comète de la Terre ou supprimer les mesures de protection qui empêchaient une IA existante de devenir malveillante. Nous appelons ces actes des « spoilers », qui, selon nous, sont beaucoup plus plausibles que des terroristes causant directement des dommages existentiels. Heureusement, pour cela, il faut qu’un risque existentiel se soit déjà manifesté, ce qui signifie que les terroristes ne pourraient pas, à eux seuls, provoquer ce genre de dommage.

Pourquoi avez-vous jugé nécessaire de publier un article sur ce sujet ?

Beaucoup de gens rejettent ces scénarios hypothétiques comme étant fous ou trop tirés par les cheveux. Même si nous constatons qu’il n’y a pas beaucoup de menace, ce qui est essentiellement ce que nous avons constaté à l’heure actuelle, cela vaut toujours la peine d’envisager de tels scénarios, afin que nous soyons préparés aux futures menaces émergentes, comme l’IA. Même à partir de ces premières recherches, nous comprenons désormais mieux certaines de ces menaces émergentes et qu’il existe certains domaines dans lesquels les terroristes peuvent nuire à leur existence, comme dans le cas des spoilers.

L’autre raison pour laquelle nous avons étudié le terrorisme existentiel est qu’en explorant les scénarios les plus extrêmes, nous pouvons mieux calibrer la probabilité de cas de terrorisme moins extrêmes. Dans l’ensemble, nous avons constaté que même s’il y a certainement des gens qui voudraient détruire l’humanité, ce n’est pas quelque chose qui m’empêcherait de dormir pour le moment. Mais, à un moment donné, ils pourraient théoriquement réussir. Il est donc important de savoir à quoi pourrait ressembler la menace et ce que nous pouvons faire pour la prévenir.

Que fait-on pour empêcher l’utilisation potentielle de l’IA comme arme ?

Peu de choses ont été faites spécifiquement pour empêcher que l’IA soit utilisée comme une arme à l’échelle de l’extinction humaine. Cependant, de nombreux travaux sur les risques liés à l’IA et la prévention des risques ont été publiés par des groupes de réflexion comme le Global Catastrophic Risk Institute (GCRI), dont je suis également conseiller principal. En mars, plus de 1 000 leaders de l’industrie, chercheurs et PDG du secteur technologique ont signé une lettre ouverte appelant à un moratoire de six mois sur le développement de systèmes d’IA avancés, citant les risques profonds que représente l’IA pour la société et l’humanité.

Mais la plupart des mesures prises par le Congrès, du moins aux États-Unis, se sont davantage concentrées sur les autres risques de l’IA, comme le déplacement d’emplois ou le fait qu’elle soit utilisée par nos adversaires pour concevoir de meilleures armes. Très peu de personnes au sein de notre gouvernement considèrent sérieusement l’IA comme un problème existentiel, même si les gens prennent lentement conscience de ces menaces potentielles. Il existe une inquiétude légitime selon laquelle plus nous rendons les systèmes intelligents, même s’ils ne parviennent pas à atteindre la sensibilité, plus ils risquent de devenir un risque majeur.

D’une manière générale, nous devons considérer l’IA comme un problème mondial. Nous avons peut-être des désaccords avec d’autres pays, mais ni la Russie, ni la Chine, ni aucun autre rival des États-Unis n’ont intérêt à ce que le monde soit détruit. Lorsqu’il s’agit de menaces de terrorisme existentiel ou de changement climatique, nous avons besoin d’une coopération mondiale. Même si nous sommes en compétition les uns avec les autres, nos combats n’auront aucun sens si aucun de nous n’est là.

Comment ce travail s’intègre-t-il dans le portefeuille de recherche plus vaste du CEHC ?

Une partie de notre objectif au CEHC est de réfléchir aux menaces qui pèsent sur l’avenir et aux moyens de les prévenir. Le CEHC essaie d’être à l’avant-garde des nouvelles idées, qu’elles soient liées à la préparation aux situations d’urgence ou à la sécurité nationale. Le terrorisme existentiel n’est pas vraiment au cœur de mes recherches et cet article aborde des scénarios beaucoup plus extrêmes et spéculatifs que ceux que j’explore habituellement, mais certaines de ces idées recoupent notre travail quotidien. La plupart de mon travail est en réalité beaucoup plus axé sur les données, comme la réalisation d’analyses prospectives sur les nouvelles technologies ou la construction de modèles et de simulations sociotechniques pour analyser comment les terroristes et autres adversaires pourraient utiliser la technologie pour nuire aux citoyens américains.

Cet article était en grande partie une expérience de réflexion, mais il semble avoir trouvé un écho auprès des gens. Espérons que cela amènera davantage de gens à réfléchir de manière critique à la question du terrorisme existentiel afin de garantir que nous ne soyons pas surpris plus tard.