Nous devons nous préparer aux dangers pour la sécurité publique posés par l’intelligence artificielle

Pour l’essentiel, la gestion des urgences contemporaines s’est concentrée sur les risques naturels, technologiques et d’origine humaine tels que les inondations, les tremblements de terre, les tornades, les accidents industriels, les phénomènes météorologiques extrêmes et les cyberattaques.

Cependant, avec l’augmentation de la disponibilité et des capacités de l’intelligence artificielle, nous pourrions bientôt voir émerger des risques pour la sécurité publique liés à ces technologies que nous devrons atténuer et nous préparer.

Au cours des 20 dernières années, mes collègues et moi-même, ainsi que de nombreux autres chercheurs, avons exploité l’IA pour développer des modèles et des applications capables d’identifier, d’évaluer, de prédire, de surveiller et de détecter les dangers afin d’éclairer les opérations d’intervention d’urgence et la prise de décision.

Nous atteignons maintenant un tournant où l’IA devient une source potentielle de risque à une échelle qui devrait être intégrée dans les phases de gestion des risques et des urgences – atténuation ou prévention, préparation, réponse et rétablissement.

IA et classification des dangers

Les dangers de l’IA peuvent être classés en deux types : intentionnels et non intentionnels. Les dangers non intentionnels sont ceux causés par des erreurs humaines ou des défaillances technologiques.

À mesure que l’utilisation de l’IA augmente, il y aura plus d’événements indésirables causés par une erreur humaine dans les modèles d’IA ou des défaillances technologiques dans les technologies basées sur l’IA. Ces événements peuvent se produire dans toutes sortes d’industries, y compris le transport (comme les drones, les trains ou les voitures autonomes), l’électricité, le pétrole et le gaz, la finance et la banque, l’agriculture, la santé et l’exploitation minière.

Les dangers intentionnels de l’IA sont des menaces potentielles causées par l’utilisation de l’IA pour nuire aux personnes et aux biens. L’IA peut également être utilisée pour obtenir des avantages illégaux en compromettant les systèmes de sécurité et de sûreté.

À mon avis, cette simple classification intentionnelle et non intentionnelle peut ne pas être suffisante en cas d’IA. Ici, nous devons ajouter une nouvelle classe de menaces émergentes – la possibilité que l’IA dépasse le contrôle et la prise de décision humains. Cela peut être déclenché intentionnellement ou non.

De nombreux experts en intelligence artificielle ont déjà mis en garde contre de telles menaces potentielles. Une récente lettre ouverte de chercheurs, de scientifiques et d’autres personnes impliquées dans le développement de l’IA a appelé à un moratoire sur son développement ultérieur.

Risques pour la sécurité publique

Les experts en sécurité publique et en gestion des urgences utilisent des matrices de risques pour évaluer et comparer les risques. Grâce à cette méthode, les dangers sont évalués qualitativement ou quantitativement en fonction de leur fréquence et de leurs conséquences, et leurs impacts sont classés comme faibles, moyens ou élevés.

Les dangers qui ont une faible fréquence et peu de conséquences ou d’impact sont considérés comme à faible risque et aucune action supplémentaire n’est requise pour les gérer. Les dangers qui ont des conséquences moyennes et une fréquence moyenne sont considérés comme des risques moyens. Ces risques doivent être étroitement surveillés.

Les dangers à fréquence élevée ou à conséquence élevée ou à conséquence et fréquence élevées sont classés comme risques élevés. Ces risques doivent être réduits en prenant des mesures supplémentaires de réduction et d’atténuation des risques. Le défaut de prendre des mesures immédiates et appropriées peut entraîner de graves pertes humaines et matérielles.

Jusqu’à présent, les dangers et les risques liés à l’IA n’ont pas été ajoutés aux matrices d’évaluation des risques bien au-delà de l’utilisation organisationnelle des applications d’IA. Le moment est venu où nous devrions rapidement commencer à intégrer les risques potentiels de l’IA dans la gestion des risques et des urgences aux niveaux local, national et mondial.

Évaluation des risques liés à l’IA

Les technologies d’IA sont de plus en plus utilisées par les institutions, les organisations et les entreprises de différents secteurs, et les dangers associés à l’IA commencent à apparaître.

En 2018, le cabinet comptable KPMG a développé une « AI Risk and Controls Matrix ». Il met en évidence les risques liés à l’utilisation de l’IA par les entreprises et les exhorte à reconnaître ces nouveaux risques émergents. Le rapport avertit que la technologie de l’IA progresse très rapidement et que des mesures de contrôle des risques doivent être en place avant qu’elles ne submergent les systèmes.

Les gouvernements ont également commencé à élaborer des directives d’évaluation des risques pour l’utilisation de technologies et de solutions basées sur l’IA. Cependant, ces lignes directrices se limitent aux risques tels que les biais algorithmiques et la violation des droits individuels.

Au niveau gouvernemental, le gouvernement canadien a publié la « Directive sur la prise de décision automatisée » pour s’assurer que les institutions fédérales minimisent les risques associés aux systèmes d’IA et créent des mécanismes de gouvernance appropriés.

L’objectif principal de la directive est de s’assurer que lorsque les systèmes d’IA sont déployés, les risques pour les clients, les institutions fédérales et la société canadienne sont réduits. Selon cette directive, des évaluations des risques doivent être effectuées par chaque ministère pour s’assurer que les mesures de protection appropriées sont en place conformément à la Politique sur la sécurité du gouvernement.

En 2021, le Congrès américain a chargé le National Institute of Standards and Technology de développer un cadre de gestion des risques liés à l’IA pour le ministère de la Défense. Le cadre d’évaluation volontaire des risques proposé par l’IA recommande d’interdire l’utilisation de systèmes d’IA qui présentent des risques inacceptables.

Menaces et concurrence

Une grande partie de la politique nationale sur l’IA a été axée sur la sécurité nationale et la concurrence mondiale – la sécurité nationale et les risques économiques de prendre du retard dans la technologie de l’IA.

La National Security Commission on Artificial Intelligence des États-Unis a souligné les risques de sécurité nationale associés à l’IA. Celles-ci ne provenaient pas des menaces publiques de la technologie elle-même, mais de la perte de la concurrence mondiale pour le développement de l’IA dans d’autres pays, dont la Chine.

Dans son rapport sur les risques mondiaux de 2017, le Forum économique mondial a souligné que l’IA n’est qu’une des technologies émergentes qui peuvent exacerber les risques mondiaux. Tout en évaluant les risques posés par l’IA, le rapport a conclu qu’à l’époque, les systèmes d’IA super-intelligents restaient une menace théorique.

Cependant, le dernier rapport sur les risques mondiaux 2023 ne mentionne même pas l’IA et les risques associés à l’IA, ce qui signifie que les dirigeants des entreprises mondiales qui fournissent des contributions au rapport sur les risques mondiaux n’avaient pas considéré l’IA comme un risque immédiat.

Plus rapide que la politique

Le développement de l’IA progresse beaucoup plus rapidement que les politiques gouvernementales et d’entreprise dans la compréhension, la prévision et la gestion des risques. Les conditions mondiales actuelles, combinées à la concurrence du marché pour les technologies d’IA, font qu’il est difficile de penser à une opportunité pour les gouvernements de faire une pause et de développer des mécanismes de gouvernance des risques.

Bien que nous devions essayer collectivement et de manière proactive de tels mécanismes de gouvernance, nous devons tous nous préparer aux impacts catastrophiques majeurs de l’IA sur nos systèmes et nos sociétés.