Les experts mettent en garde contre les risques liés aux armes autonomes alimentées par l'IA

Depuis des décennies, l’armée utilise des armes autonomes telles que des mines, des torpilles et des missiles à guidage thermique qui fonctionnent sur la base d’un simple retour d’information réactif sans contrôle humain. Mais l’intelligence artificielle (IA) fait désormais son entrée dans le domaine de la conception des armes.

Selon Kanaka Rajan, professeur associé de neurobiologie à l’Institut Blavatnik de la Harvard Medical School, et son équipe, les armes autonomes alimentées par l’IA représentent une nouvelle ère dans la guerre et constituent une menace concrète pour le progrès scientifique et la recherche fondamentale.

Les armes à intelligence artificielle, qui impliquent souvent des drones ou des robots, sont activement développées et déployées, a déclaré Rajan. Elle s'attend à ce qu'elles deviennent de plus en plus performantes, sophistiquées et largement utilisées au fil du temps en raison de la facilité avec laquelle cette technologie se propage.

Dans ce contexte, elle s’inquiète de la manière dont les armes alimentées par l’IA pourraient conduire à une instabilité géopolitique et de la manière dont leur développement pourrait affecter la recherche en IA non militaire dans le milieu universitaire et l’industrie.

Rajan, ainsi que les chercheurs en neurobiologie du HMS Riley Simmons-Edler et Ryan Badman et l'étudiant au doctorat du MIT Shayne Longpre, exposent leurs principales préoccupations – et une voie à suivre – dans un document de position publié et présenté lors de la Conférence internationale sur l'apprentissage automatique de 2024.

Dans une conversation avec Harvard Medicine News, Rajan a expliqué pourquoi elle et son équipe ont décidé d'enquêter sur le sujet de la technologie militaire alimentée par l'IA, ce qu'ils considèrent comme les plus grands risques et ce qu'ils pensent qu'il devrait se passer ensuite.

Vous êtes un neuroscientifique computationnel qui étudie l’IA dans le contexte du cerveau humain et animal. Comment en êtes-vous venu à penser aux armes autonomes alimentées par l’IA ?

Nous avons commencé à réfléchir à ce sujet en réaction à un certain nombre de prédictions apocalyptiques sur l’intelligence artificielle générale qui ont circulé au printemps 2023. Nous nous sommes demandés si ces prédictions étaient effectivement exagérées, quels étaient alors les risques réels pour la société humaine ? Nous avons examiné la manière dont l’armée utilise l’IA et avons constaté que la recherche et le développement militaires s’orientent fortement vers la construction de systèmes d’armes autonomes alimentées par l’IA, avec des implications mondiales.

Nous avons réalisé que la communauté de recherche universitaire en IA ne serait pas à l’abri des conséquences du développement à grande échelle de ces armes. Les armées manquent souvent de l’expertise nécessaire pour développer et déployer des technologies d’IA sans avis extérieur, elles doivent donc s’appuyer sur les connaissances des experts universitaires et industriels en IA. Cela soulève d’importantes questions éthiques et pratiques pour les chercheurs et les administrateurs des institutions universitaires, à l’instar de celles qui entourent toute grande entreprise finançant la recherche universitaire.

Quels sont, selon vous, les plus grands risques liés à l’intégration de l’IA et de l’apprentissage automatique dans les armes ?

Le développement d’armes alimentées par l’IA comporte un certain nombre de risques, mais les trois plus importants que nous voyons sont les suivants : premièrement, comment ces armes peuvent faciliter l’implication des pays dans des conflits ; deuxièmement, comment la recherche scientifique non militaire sur l’IA peut être censurée ou cooptée pour soutenir le développement de ces armes ; et troisièmement, comment les armées peuvent utiliser la technologie autonome alimentée par l’IA pour réduire ou détourner la responsabilité humaine dans la prise de décision.

Premièrement, la mort de soldats est un facteur dissuasif important qui empêche les nations de déclencher des guerres. Il s’agit d’un coût humain pour leurs citoyens, qui peut avoir des conséquences sur le plan national pour les dirigeants. Une grande partie du développement actuel d’armes alimentées par l’IA vise à soustraire les soldats humains au danger, ce qui est en soi une mesure humaine. Cependant, si peu de soldats meurent dans une guerre offensive, cela affaiblit le lien entre actes de guerre et coût humain, et il devient politiquement plus facile de déclencher des guerres, ce qui, à son tour, peut conduire à davantage de morts et de destructions en général. Ainsi, des problèmes géopolitiques majeurs pourraient rapidement émerger à mesure que la course aux armements alimentée par l’IA s’intensifie et que cette technologie prolifère davantage.

En ce qui concerne le deuxième point, nous pouvons nous pencher sur l’histoire de disciplines académiques comme la physique nucléaire et la fuséologie. Alors que ces disciplines ont pris une importance cruciale pour la défense pendant la guerre froide, les chercheurs ont été confrontés à des restrictions de déplacement, à la censure des publications et à la nécessité d’obtenir une habilitation de sécurité pour effectuer des travaux de base. Alors que la technologie autonome alimentée par l’IA devient centrale dans la planification de la défense nationale dans le monde entier, nous pourrions voir des restrictions similaires imposées à la recherche sur l’IA non militaire, ce qui entraverait considérablement la recherche fondamentale sur l’IA, les applications civiles utiles dans les soins de santé et la recherche scientifique, et la collaboration internationale. Nous considérons qu’il s’agit d’une préoccupation urgente compte tenu de la vitesse à laquelle la recherche sur l’IA se développe et de la montée en puissance de la recherche et du développement sur les armes alimentées par l’IA.

Enfin, si les armes à intelligence artificielle deviennent essentielles à la défense nationale, nous pourrions assister à des tentatives majeures de coopter les chercheurs en intelligence artificielle du monde universitaire et de l’industrie pour travailler sur ces armes ou pour développer davantage de projets à « double usage ». Si de plus en plus de connaissances en intelligence artificielle commencent à être verrouillées derrière des autorisations de sécurité, cela va entraver intellectuellement notre domaine. Certains informaticiens réclament déjà de telles restrictions drastiques, mais leur argument rejette le fait que les nouvelles technologies d’armement ont toujours tendance à proliférer une fois qu’elles ont été mises au point.

Pourquoi pensez-vous que la conception des armes a été relativement négligée par ceux qui réfléchissent aux menaces posées par l’IA ?

L’une des raisons est qu’il s’agit d’un paysage nouveau et en évolution rapide : depuis 2023, un certain nombre de grandes puissances ont commencé à adopter rapidement et publiquement des armes alimentées par l’IA. En outre, les systèmes d’armes alimentés par l’IA peuvent sembler moins menaçants pris isolément, ce qui permet de négliger plus facilement les problèmes que lorsqu’ils sont considérés comme un ensemble plus large de systèmes et de capacités.

Un autre problème est que les entreprises technologiques ne sont pas transparentes quant au degré d’autonomie et de contrôle humain de leurs systèmes d’armes. Pour certains, le contrôle humain pourrait consister à appuyer sur un bouton « tuer » après qu’une unité d’armes IA a pris une longue chaîne de décisions de boîte noire, sans que l’humain ne comprenne ou ne puisse repérer les erreurs dans la logique du système. Pour d’autres, cela pourrait signifier qu’un humain a plus de contrôle et vérifie le processus de prise de décision de la machine.

Malheureusement, à mesure que ces systèmes deviennent plus complexes et plus puissants, et que les temps de réaction en temps de guerre doivent être plus rapides, le résultat de la boîte noire risque de devenir la norme. De plus, le fait de voir une « intervention humaine » sur les armes autonomes alimentées par l’IA peut donner aux chercheurs l’illusion que le système est éthique selon les normes militaires, alors qu’en fait, il n’implique pas réellement les humains dans la prise de décision.

Quelles sont les questions de recherche les plus urgentes auxquelles il faut répondre ?

Bien qu’il reste encore beaucoup à faire pour créer des armes alimentées par l’IA, la plupart des algorithmes de base ont déjà été proposés ou font l’objet de recherches universitaires et industrielles majeures motivées par des applications non militaires, par exemple les véhicules autonomes. Dans cette optique, nous devons réfléchir à notre responsabilité en tant que scientifiques et chercheurs en guidant de manière éthique l’application de ces technologies et en gérant les effets des intérêts militaires sur nos recherches.

Si les armées du monde entier souhaitent remplacer une part substantielle des missions de combat et de soutien par des unités pilotées par l’IA, elles auront besoin du soutien d’experts universitaires et industriels. Cela soulève des questions sur le rôle que les universités devraient jouer dans la révolution de l’IA militaire, sur les limites à ne pas franchir et sur les organismes centralisés de surveillance et de contrôle à mettre en place pour contrôler l’utilisation de l’IA dans les armes.

En termes de protection de la recherche non militaire, nous devrons peut-être réfléchir aux développements de l’IA qui peuvent être classés comme sources fermées ou sources ouvertes, à la manière de mettre en place des accords d’utilisation et à la manière dont les collaborations internationales seront affectées par la militarisation croissante de l’informatique.

Comment pouvons-nous progresser de manière à permettre une recherche créative en matière d’IA tout en protégeant contre son utilisation à des fins militaires ?

Les universitaires ont eu et continueront d’avoir des collaborations importantes et productives avec le gouvernement et les grandes entreprises du secteur des technologies, de la médecine et de l’information, ainsi qu’avec l’armée. Cependant, les universitaires ont également eu des collaborations embarrassantes et néfastes avec les industries du sucre, des combustibles fossiles et du tabac. Les universités modernes ont des exigences institutionnelles en matière de formation, de surveillance et de transparence pour aider les chercheurs à comprendre les risques et les biais éthiques du financement industriel et pour éviter de produire des travaux scientifiques douteux sur le plan éthique.

À notre connaissance, il n’existe pas actuellement de formation et de contrôle de ce type pour le financement militaire. Les problèmes que nous soulevons sont complexes et ne peuvent être résolus par une seule politique, mais nous pensons qu’une première étape dans la bonne direction consisterait pour les universités à créer des séminaires de discussion, des réglementations internes et des processus de contrôle pour les projets financés par les agences militaires, de défense et de sécurité nationale, similaires à ceux déjà en place pour les projets financés par l’industrie.

Quel est, selon vous, un résultat réaliste ?

Certains membres de la communauté ont appelé à une interdiction totale de l’IA militaire. Si nous convenons que ce serait moralement idéal, nous reconnaissons que ce n’est pas réaliste : l’IA est trop utile à des fins militaires pour obtenir le consensus international nécessaire à l’établissement ou à l’application d’une telle interdiction.

Nous pensons plutôt que les pays devraient concentrer leurs efforts sur le développement d’armes alimentées par l’intelligence artificielle qui renforcent – ​​plutôt que de remplacer – les soldats humains. En donnant la priorité à la surveillance humaine de ces armes, nous pouvons espérer prévenir les risques les plus graves.

Nous tenons également à souligner que les armes IA ne sont pas un monolithe et qu’elles doivent être examinées en fonction de leurs capacités. Il est important pour nous d’interdire et de réglementer les classes d’armes IA les plus flagrantes dès que possible et pour nos communautés et nos institutions d’établir des limites à ne pas franchir.