Les chatbots n’aideront personne à fabriquer des armes de destruction massive, mais d’autres systèmes d’IA pourraient le faire

Au cours des deux dernières années, nous avons vu beaucoup d’écrits sur les « promesses et les périls » de l’intelligence artificielle (IA). Certains ont suggéré que les systèmes d’IA pourraient contribuer à la construction d’armes chimiques ou biologiques.

Dans quelle mesure ces préoccupations sont-elles réalistes ? En tant que chercheurs dans le domaine du bioterrorisme et du renseignement sanitaire, nous essayons de distinguer les risques réels du battage médiatique en ligne.

Les implications exactes pour les armes « chimiques et bio » sont encore incertaines. Cependant, il est très clair que les réglementations ne suivent pas les évolutions technologiques.

Évaluer les risques

Évaluer le risque que présente un modèle d’IA n’est pas facile. De plus, il n’existe pas de méthode cohérente et largement suivie pour y parvenir.

Prenons le cas des grands modèles de langage (LLM). Ce sont les moteurs d'IA derrière les chatbots tels que ChatGPT, Claude et Gemini.

En septembre, OpenAI a publié un LLM appelé o1 (surnommé « Strawberry »). Lors de sa sortie, les développeurs ont affirmé que le nouveau système présentait un risque « moyen » d’aider quelqu’un à créer une arme biologique.

Cette évaluation peut paraître alarmante. Cependant, une lecture plus approfondie de la carte système o1 révèle des risques de sécurité plus insignifiants.

Le modèle pourrait, par exemple, aider une personne non formée à naviguer plus rapidement dans une base de données publique contenant des informations génétiques sur les virus. Il est peu probable qu’une telle assistance ait un impact matériel important sur la biosécurité.

Malgré cela, les médias ont rapidement rapporté que le nouveau modèle « contribuait de manière significative » aux risques d’armement.

Au-delà des chatbots

Lorsque la première vague de chatbots LLM a été lancée fin 2022, de nombreuses craintes ont été largement répandues selon lesquelles ces systèmes pourraient aider des personnes non formées à déclencher une pandémie.

Cependant, ces chatbots sont basés sur des données déjà existantes et il est peu probable qu’ils aboutissent à quelque chose de véritablement nouveau. Ils pourraient aider une entreprise de bioterrorisme à trouver des idées et à établir une première direction, mais c'est tout.

Plutôt que les chatbots, les systèmes d’IA ayant des applications dans les sciences de la vie suscitent davantage de préoccupations. Beaucoup d'entre eux, comme la série AlphaFold, aideront les chercheurs à lutter contre les maladies et à rechercher de nouveaux médicaments thérapeutiques.

Certains systèmes peuvent toutefois être susceptibles d’être utilisés à mauvais escient. Toute IA réellement utile à la science est susceptible d’être une arme à double tranchant : une technologie qui peut apporter de grands avantages à l’humanité, tout en présentant également des risques.

Les systèmes d’IA comme ceux-ci sont d’excellents exemples de ce que l’on appelle la « recherche préoccupante à double usage ».

Prions et pandémies

La recherche préoccupante sur le double usage n’a rien de nouveau en soi. Les personnes travaillant dans le domaine de la biosécurité et de la non-prolifération nucléaire s'en inquiètent depuis longtemps. De nombreux outils et techniques en chimie et en biologie synthétique pourraient être utilisés à des fins malveillantes.

Dans le domaine de la science des protéines, par exemple, on craint depuis plus d’une décennie que de nouvelles plates-formes informatiques pourraient aider à la synthèse de protéines mal repliées potentiellement mortelles appelées prions, ou à la construction de nouvelles armes à toxines. De nouveaux outils d’IA tels qu’AlphaFold pourraient rapprocher ce scénario de la réalité.

Cependant, même si les prions et les toxines peuvent être mortels pour des groupes de personnes relativement restreints, aucun d’eux ne peut provoquer une pandémie susceptible de causer de véritables ravages. Dans l’étude du bioterrorisme, notre principale préoccupation concerne les agents ayant un potentiel pandémique.

Historiquement, la planification du bioterrorisme s’est concentrée sur Yersinia pestis, la bactérie responsable de la peste, et sur le virus variolique, responsable de la variole.

La principale question est de savoir si les nouveaux systèmes d’IA font une différence tangible pour un individu ou un groupe non formé cherchant à obtenir de tels agents pathogènes, ou à créer quelque chose à partir de zéro.

Pour le moment, nous ne le savons tout simplement pas.

Règles pour évaluer et réguler les systèmes d’IA

Personne n’a encore de réponse définitive à la question de savoir comment évaluer le nouveau paysage des risques liés aux armes biologiques alimentées par l’IA. La planification la plus avancée a été réalisée par l’administration Biden sortante aux États-Unis, via un décret sur le développement de l’IA publié en octobre 2023.

Une disposition clé du décret charge plusieurs agences américaines d’établir des normes pour évaluer l’impact que les nouveaux systèmes d’IA peuvent avoir sur la prolifération des armes chimiques, biologiques, radiologiques ou nucléaires. Les experts les regroupent souvent sous le terme « CBRN », mais la nouvelle dynamique que nous appelons CBRN+IA est encore incertaine.

Le décret a également établi de nouveaux processus pour réglementer le matériel et les logiciels nécessaires à la synthèse génétique. Il s’agit de la machinerie permettant de transformer les idées numériques produites par un système d’IA en réalité physique de la vie biologique.

Le ministère américain de l’Énergie devrait bientôt publier des directives sur la gestion des risques biologiques qui pourraient être générés par les nouveaux systèmes d’IA. Cela permettra de comprendre comment l’IA pourrait affecter la biosécurité dans les années à venir.

Pression politique

Ces réglementations naissantes subissent déjà des pressions politiques. La nouvelle administration Trump aux États-Unis a promis d’abroger le décret de Biden sur l’IA, craignant qu’il ne soit basé sur des « idées radicales de gauche ». Cette position s’inspire de conflits non pertinents dans la politique identitaire américaine qui n’ont aucune incidence sur la biosécurité.

Bien qu’imparfait, le décret constitue le meilleur modèle pour nous aider à comprendre l’impact de l’IA sur la prolifération des menaces chimiques et biologiques dans les années à venir. L’abroger rendrait un très mauvais service à l’intérêt national des États-Unis et à la sécurité humaine mondiale dans son ensemble.