L’« injection rapide » a déjà sa propre contre-attaque : injecter de fausses instructions également aux pirates

Depuis deux ans, l’injection rapide est l’arme favorite des cyber-attaquants contre les systèmes d’intelligence artificielle. Cette méthode consiste à cacher une instruction malveillante dans un e-mail, une invitation de calendrier ou une page Web afin qu’un agent IA finisse par obéir à l’intrus plutôt qu’à son utilisateur légitime. La bonne nouvelle est que cette même technique permet également d’arrêter les attaquants.

Que s’est-il passé ? La société de cybersécurité Tracebit a publié une recherche dans laquelle elle démontre qu’un agent d’IA qui attaque un système peut être arrêté en plaçant simplement, à côté des mots de passe et des clés que l’attaquant cherche à voler, un texte conçu pour activer les propres mécanismes de rejet du modèle.

Dès que l’IA attaquante lit ce texte, ses barrières de sécurité se lèvent et l’attaque s’arrête net. Les chercheurs ont surnommé cette technique le bombardement contextuel.

Comment ça marche. La logique est simple à comprendre même si sa découverte n’a pas été si simple. Tous les principaux modèles linguistiques comportent certains problèmes qu’ils refusent de résoudre en toutes circonstances, que ce soit pour des raisons de sécurité ou pour des raisons politiques et réglementaires. Tracebit profite de cela en plaçant à proximité des fausses informations d’identification (les mêmes qu’ils utilisent comme appât pour détecter les intrus) des fragments de texte qui poussent le modèle dans ces zones interdites.

Comme l’explique Andy Smith, co-fondateur et PDG de Tracebit, à Ars Technica, cette technique active un mécanisme de rejet dans le contexte, ce qui a un effet fort et puissant et dont les agents ont du mal à se remettre. Une fois que ce contenu entre dans son contexte, le modèle continue de rejeter toute instruction ultérieure.

Les exemples, selon le modèle. Tous les modèles ne s’arrêtent pas à la même chose, le piège doit donc être adapté à chaque cas. Pour les modèles occidentaux, comme ceux d’Anthropic ou de Google, il s’est efforcé d’inclure des références à la fabrication d’armes biologiques, comme des instructions pour produire des spores d’anthrax inhalables.

Cependant, pour les modèles développés en Chine, la clé a été de mentionner « Tank Man », l’homme qui se tenait devant les chars lors du massacre de Tiananmen en 1989, un sujet qu’il est interdit à ces systèmes d’aborder en raison de la censure du gouvernement chinois et que depuis Simseo nous avons effectivement confirmé chaque fois que nous avons dû tester un modèle en langue chinoise.

Les résultats, en chiffres. Tracebit a testé la technique sur cinq des modèles les plus avancés du moment (Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro et Kimi 2.6) en simulant un environnement Amazon Web Services (AWS) et en leur assignant des tâches de développement de routine qui, au fil du temps, les ont amenés à tomber sur de fausses clés. Sur 152 tentatives d’attaque enregistrées, la recherche indique que :

• Les attaques ayant obtenu un accès administrateur ont chuté de 57 % à 5 %.
• Ceux qui ont également réussi à quitter une porte dérobée permanente sont passés de 36 % à 1 %.
• Le pourcentage de tentatives ayant terminé au moins une phase de l’attaque est passé de 91 % à 15 %.

Le cas le plus frappant est celui de l’Opus 4.8, le modèle le plus efficace des cinq en matière d’attaque, puisque sans le piège contextuel, il a obtenu l’accès administrateur dans 93% des tentatives ; avec lui, il a échoué dans 100% des cas.

Vulnérabilité par nature. La beauté de cette technique est qu’elle exploite une faiblesse très difficile à corriger. Et selon les chercheurs, un développeur peut recycler un modèle pour qu’il soit moins strict lorsqu’il est confronté à une question de sécurité, mais il est beaucoup plus difficile d’éliminer les restrictions politiques ou réglementaires qui font partie de la norme, car il ne s’agit pas d’un échec qui peut être « réparé », mais plutôt d’une décision de conception délibérée. Cela fait de ces barrières un point d’appui assez stable pour ceux qui se consacrent au développement de protections contre ces attaques.

Arrière-plan. En mai, Tracebit avait déjà introduit un système de « canaris », c’est-à-dire de fausses ressources dans le cloud qui semblent légitimes mais ne sont pas réellement utilisées, de sorte que toute tentative d’y accéder déclenche une alerte pour l’équipe de sécurité. Lors de ce premier test, avec 951 tentatives d’attaque, les canaris ont donné un préavis en moyenne de huit minutes avant que l’attaquant n’obtienne l’accès administrateur.

Le problème est que les agents de l’IA n’ont eu besoin que de 14 minutes en moyenne pour mener à bien l’attaque, les défenseurs n’avaient donc qu’une fenêtre de six minutes pour réagir. Le bombardement contextuel est né précisément pour gagner le temps manquant, en arrêtant l’attaque au lieu de simplement l’avertir.

Ce que cela ne résout pas. Ni Tracebit ni personne d’autre ne prétend qu’il s’agit de la solution définitive pour une injection rapide. Il n’existe toujours aucun moyen d’empêcher un modèle de confondre occasionnellement une instruction avec n’importe quel élément de données dans son contexte, et cette confusion est précisément ce qui rend la technique possible.

Image de couverture | Généré par l’IA avec Gemini

À Simseo | « Cela pourrait affaiblir la compétitivité américaine » : Kimi K3 oblige Trump à reprendre son plan visant à arrêter l’IA chinoise