La surveillance humaine des systèmes d’IA n’est peut-être pas aussi efficace qu’on le pense, surtout en matière de guerre

L'intelligence artificielle (IA) devenant de plus en plus puissante, elle est même utilisée dans des situations de guerre. Il est donc urgent que les gouvernements, les entreprises technologiques et les organismes internationaux garantissent sa sécurité. La plupart des accords sur la sécurité de l'IA ont en commun la nécessité d'une surveillance humaine de cette technologie.

En théorie, les humains peuvent agir comme des garde-fous contre les abus et les hallucinations potentielles (lorsque l’IA génère des informations erronées). Cela pourrait impliquer, par exemple, qu’un humain examine le contenu généré par la technologie (ses résultats). Cependant, l’idée que les humains agissent comme un moyen de contrôle efficace des systèmes informatiques pose des défis inhérents, comme le démontrent un nombre croissant de recherches et plusieurs exemples réels d’utilisation de l’IA à des fins militaires.

Parmi les efforts déployés jusqu’à présent pour créer des réglementations sur l’IA, beaucoup contiennent déjà des dispositions favorisant la surveillance et l’implication humaines. Par exemple, la loi européenne sur l’IA stipule que les systèmes d’IA à haut risque – par exemple ceux déjà utilisés qui identifient automatiquement les personnes à l’aide d’une technologie biométrique comme un scanner rétinien – doivent être vérifiés et confirmés séparément par au moins deux humains possédant les compétences, la formation et l’autorité nécessaires.

Dans le domaine militaire, l’importance du contrôle humain a été reconnue par le gouvernement britannique dans sa réponse de février 2024 à un rapport parlementaire sur l’IA dans les systèmes d’armes. Le rapport met l’accent sur un « contrôle humain significatif » grâce à la fourniture d’une formation appropriée aux humains. Il met également l’accent sur la notion de responsabilité humaine et affirme que la prise de décision dans les actions menées, par exemple par des drones aériens armés, ne peut pas être transférée à des machines.

Ce principe a été largement respecté jusqu’à présent. Les drones militaires sont actuellement contrôlés par des opérateurs humains et leur chaîne de commandement, qui sont responsables des actions menées par un aéronef armé. Cependant, l’IA a le potentiel de rendre les drones et les systèmes informatiques qu’ils utilisent plus performants et plus autonomes.

Cela inclut leurs systèmes d'acquisition de cibles. Dans ces systèmes, un logiciel guidé par l'IA sélectionnerait et verrouillerait les combattants ennemis, permettant à l'humain d'approuver une frappe contre eux avec des armes.

Même si ce n’est pas encore une pratique répandue, la guerre à Gaza semble avoir démontré que cette technologie est déjà utilisée. Le magazine israélo-palestinien +972 a fait état d’un système appelé Lavender utilisé par Israël. Il s’agirait d’un système de recommandation de cibles basé sur l’intelligence artificielle couplé à d’autres systèmes automatisés, qui suit la localisation géographique des cibles identifiées.

Acquisition de cibles

En 2017, l'armée américaine a conçu un projet, baptisé Maven, dans le but d'intégrer l'IA dans les systèmes d'armes. Au fil des ans, il a évolué vers un système d'acquisition de cibles. Il aurait considérablement amélioré l'efficacité du processus de recommandation de cibles pour les plateformes d'armes.

Conformément aux recommandations des travaux universitaires sur l’éthique de l’IA, un humain est en place pour superviser les résultats des mécanismes d’acquisition de cibles en tant qu’élément essentiel de la boucle de prise de décision.

Néanmoins, les travaux sur la psychologie de la façon dont les humains travaillent avec les ordinateurs soulèvent des questions importantes à prendre en compte. Dans un article de 2006 évalué par des pairs, l’universitaire américaine Mary Cummings a résumé la façon dont les humains peuvent finir par accorder une confiance excessive aux systèmes des machines et à leurs conclusions – un phénomène connu sous le nom de biais d’automatisation.

Cela pourrait interférer avec le rôle humain de contrôle de la prise de décision automatisée si les opérateurs sont moins susceptibles de remettre en question les conclusions d’une machine.

Dans une autre étude publiée en 1992, les chercheurs Batya Friedman et Peter Kahn ont avancé que le sens de l'action morale des humains peut être diminué lorsqu'ils travaillent avec des systèmes informatiques, au point qu'ils se considèrent comme irresponsables des conséquences qui en découlent. En fait, l'étude explique que les gens peuvent même commencer à attribuer un sentiment d'action aux systèmes informatiques eux-mêmes.

Compte tenu de ces tendances, il serait prudent de se demander si une confiance excessive dans les systèmes informatiques, ainsi que le risque d'érosion du sens moral des humains, pourraient également affecter les systèmes d'acquisition de cibles. Après tout, les marges d'erreur, bien que statistiquement faibles sur le papier, prennent une dimension terrifiante lorsque l'on considère l'impact potentiel sur les vies humaines.

Les différentes résolutions, accords et législations sur l'IA contribuent à garantir que les humains joueront un rôle important de contrôle de l'IA. Cependant, il est important de se demander si, après de longues périodes dans ce rôle, un décalage pourrait se produire, les opérateurs humains commençant à voir les personnes réelles comme des objets sur un écran.