C’est ce qu’on appelle « l’empoisonnement des données » et cela les empoisonne de l’intérieur.
L’IA est partout et attire de plus en plus d’utilisateurs. L’étape logique est qu’il serait également la cible d’attaques malveillantes. Nous avons déjà parlé des dangers de la « prompte injection », une attaque étonnamment facile à exécuter. Il n'est pas le seul. Les entreprises d’IA luttent également contre l’empoisonnement des données.
Des données empoisonnées. Elle consiste à introduire des données manipulées dans des ressources qui seront ensuite utilisées pour la formation en IA. Selon des recherches récentes, il ne faut pas autant de documents malveillants pour compromettre un modèle de langage qu'on le pensait auparavant. Ils ont découvert qu’avec seulement 250 documents « empoisonnés », des modèles comportant jusqu’à 13 milliards de paramètres étaient compromis. Le résultat est que le modèle peut être biaisé ou parvenir à des conclusions erronées.
Injection rapide. C'est l'un des problèmes auxquels sont confrontés les navigateurs IA comme ChatGPT Atlas ou Comet. En plaçant simplement une invite invisible dans un e-mail ou un site Web, vous pouvez amener l'IA à fournir des informations privées en ne pouvant pas distinguer ce qui est une instruction utilisateur et ce qui est une instruction malveillante. Dans le cas des agents IA, c’est particulièrement dangereux puisqu’ils peuvent exécuter des actions en notre nom.
L'IA pour faire le mal. Selon un rapport de Crowdstrike, l’IA est devenue l’arme de prédilection des cybercriminels, qui l’utilisent pour automatiser et perfectionner leurs attaques, notamment les ransomwares. Le MIT a analysé plus de 2 800 attaques de ransomware et a constaté que 80 % d’entre elles utilisaient l’IA. Le chiffre est accablant.
Collaboration. Selon le Financial Times, les principales sociétés d'IA, telles que DeepMind, OpenAI, Microsoft et Anthropic, travaillent ensemble pour analyser les méthodes d'attaque les plus fréquentes et concevoir des stratégies défensives en collaboration. Ils se tournent vers des pirates informatiques éthiques et d’autres experts indépendants pour tenter de pirater leurs systèmes afin de pouvoir les renforcer.
Urgence. Les navigateurs et agents d’IA sont déjà là, mais nous sommes dans les temps car il n’y a pas encore eu d’adoption massive. Il est urgent de renforcer les systèmes, notamment pour empêcher l’injection de messages d’invite qui peuvent si facilement voler nos données.
Images | Shayna « Bepple » affronte Unsplash
À Simseo | « La sécurité de nos enfants n'est pas à vendre » : la première loi qui réglemente les « amis de l'IA » est là
