Intelligence artificielle et cybersécurité dans la technologie militaire
La première startup de cybersécurité de Josh Lospinoso a été rachetée en 2017 par Raytheon/Forcepoint. Son second, Shift5, travaille avec l’armée américaine, les opérateurs ferroviaires et les compagnies aériennes dont JetBlue. Diplômé de West Point en 2009 et boursier Rhodes, l’ancien capitaine de l’armée de 36 ans a passé plus d’une décennie à créer des outils de piratage pour la National Security Agency et le US Cyber Command.
Lospinoso a récemment expliqué à un sous-comité sénatorial des services armés comment l’intelligence artificielle peut aider à protéger les opérations militaires. Le PDG/programmeur a discuté du sujet avec l’Associated Press ainsi que de la manière dont les vulnérabilités logicielles des systèmes d’armes constituent une menace majeure pour l’armée américaine. L’interview a été modifiée pour plus de clarté et de longueur.
Q : Dans votre témoignage, vous avez décrit deux menaces principales pour les technologies basées sur l’IA : la première est le vol. Cela va de soi. L’autre est l’empoisonnement des données. Pouvez-vous expliquer cela?
R : Une façon de penser à l’empoisonnement des données est la désinformation numérique. Si les adversaires sont capables de fabriquer les données que les technologies basées sur l’IA voient, ils peuvent avoir un impact profond sur le fonctionnement de cette technologie.
Q : L’empoisonnement des données se produit-il ?
R : Nous ne le voyons pas au sens large. Mais c’est arrivé. L’un des cas les plus connus s’est produit en 2016. Microsoft a publié un chatbot Twitter nommé Tay qui a appris des conversations qu’il a eues en ligne. Des utilisateurs malveillants ont conspiré pour tweeter un langage abusif et offensant. Tay a commencé à générer un contenu inflammatoire. Microsoft l’a mis hors ligne.
Q : L’IA, ce ne sont pas que des chatbots. Cela fait longtemps partie intégrante de la cybersécurité, n’est-ce pas ?
R : L’IA est utilisée dans les filtres de messagerie pour essayer de signaler et de séparer les courriers indésirables et les leurres de phishing. Un autre exemple concerne les terminaux, comme le programme antivirus sur votre ordinateur portable ou le logiciel de détection de logiciels malveillants qui s’exécute sur les réseaux. Bien sûr, les pirates informatiques offensifs utilisent également l’IA pour tenter de vaincre ces systèmes de classification. C’est ce qu’on appelle l’IA contradictoire.
Q : Parlons des systèmes logiciels militaires. Un rapport alarmant du Government Accountability Office de 2018 a déclaré que presque tous les systèmes d’armes nouvellement développés présentaient des vulnérabilités critiques. Et le Pentagone envisage de mettre l’IA dans de tels systèmes ? R : Il y a deux problèmes ici. Premièrement, nous devons sécuriser de manière adéquate les systèmes d’armes existants. C’est une dette technique que nous avons et qui va être très longue à payer. Ensuite, il y a une nouvelle frontière de sécurisation des algorithmes d’IA – de nouvelles choses que nous installerions. Le rapport du GAO ne parlait pas vraiment d’IA. Alors oubliez l’IA une seconde. Si ces systèmes sont restés comme ils sont, ils sont toujours profondément vulnérables.
Nous discutons de repousser les limites et d’ajouter des capacités activées par l’IA pour des choses comme l’amélioration de la maintenance et l’intelligence opérationnelle. Tout va bien. Mais nous construisons sur un château de cartes. De nombreux systèmes datent de plusieurs décennies et ont été modernisés avec des technologies numériques. Aéronefs, véhicules terrestres, actifs spatiaux, sous-marins. Ils sont maintenant interconnectés. Nous échangeons des données à l’intérieur et à l’extérieur. Les systèmes sont poreux, difficiles à mettre à niveau et pourraient être attaqués. Une fois qu’un attaquant y a accès, la partie est terminée.
Parfois, il est plus facile de construire une nouvelle plate-forme que de repenser les composants numériques des systèmes existants. Mais l’IA a un rôle à jouer dans la sécurisation de ces systèmes. L’IA peut être utilisée pour se défendre si quelqu’un essaie de les compromettre.
Q : Vous avez déclaré que suspendre la recherche sur l’IA, comme certains l’ont demandé, serait une mauvaise idée car cela favoriserait la Chine et d’autres concurrents. Mais vous vous inquiétez également de la ruée vers les produits d’IA. Pourquoi? R : Je déteste avoir l’air fataliste, mais le soi-disant cas d’« utilisation brûlante » semble s’appliquer. Un produit mis sur le marché à la hâte prend souvent feu (se fait pirater, tombe en panne, cause des dommages involontaires). Et nous disons, ‘Garçon, nous aurions dû avoir une sécurité intégrée.’ Je m’attends à ce que le rythme de développement de l’IA s’accélère, et nous ne nous arrêterons peut-être pas suffisamment pour le faire de manière sûre et responsable. Au moins la Maison Blanche et le Congrès discutent de ces questions.
Q : Il semble qu’un tas d’entreprises, y compris dans le secteur de la défense, se précipitent pour annoncer des produits d’IA à moitié cuits. R : Toutes les entreprises technologiques et de nombreuses entreprises non technologiques ont fait un pivot presque discordant vers l’IA. Les bouleversements économiques arrivent. Les modèles économiques vont fondamentalement changer. Des dislocations se produisent déjà ou sont à l’horizon et les chefs d’entreprise essaient de ne pas se faire prendre au dépourvu.
Q : Qu’en est-il de l’utilisation de l’IA dans la prise de décision militaire, comme le ciblage ? R : Je ne pense pas, catégoriquement, que les algorithmes d’intelligence artificielle – les données que nous collectons – sont prêts pour qu’un système d’arme létale prenne des décisions aux heures de grande écoute. Nous en sommes tellement loin.