L'IA se développe à une vitesse vertigineuse, c'est pourquoi les experts ont créé le premier ver pour les systèmes GenAI

L’intelligence artificielle semble être là pour rester. Aujourd'hui, ChatGPT ou Microsoft Copilot peuvent nous aider à rédiger des e-mails, des programmes, à étudier des langues et bien plus encore. Cependant, certains pensent que ce n'est que le début d'un révolution technologique beaucoup plus gros. Bill Gates, par exemple, imagine un avenir dans lequel les agents d’IA effectueront des tâches à notre place et « changeront complètement notre façon de vivre ».

Ce port vers lequel nous nous dirigeons apparemment a le potentiel de déclencher une augmentation de la productivité, mais il comporte également des défis en matière de cybersécurité. Un groupe d’experts de l’Université Cornell, située dans l’État de New York, a créé « le premier ver conçu pour attaquer les écosystèmes GenAI ». Il s'agit d'un nouveau malware fonctionnel en laboratoire qui vise à avertir de la possibilité réelle de créer ce type de menaces.

Un ver pour spammer et voler des données

Le ver, nommé Morris II d'après le premier ver Internet créé par Robert T. Morris en 1988, a été utilisé pour démontrer plusieurs attaques zero-day contre un service de messagerie capable de répondre automatiquement aux messages avec une IA générative. Les chercheurs ont réussi à obtenir le malware va s'auto-répliquer et voler des données de la victime lors de tests avec deux grands modèles de langage populaires : Gemini Pro de Google et GPT-4 d'OpenAI.

Pour compromettre la sécurité du système de messagerie (créé spécifiquement pour l'enquête), Morris II utilise une technique connue sous le nom d'Adversarial Self-Replicating Prompt. Il s'agit d'un type spécifique d'invite qui est inclus dans le corps du message ou caché dans une image et qui trompe l'IA générative adjacente lors du traitement du message. Cette attaque, expliquent-ils, peut infecter d’autres systèmes et diffuser du contenu personnalisé.

Morris II est également capable de compromettre une fonctionnalité connue sous le nom de RAG. Il s'agit d'un outil utilisé par certaines applications d'intelligence artificielle pour améliorer les réponses en extrayant des informations de sources externes. Dans ce cas, le ver a pu base de données compromise de l'application de messagerie simulée de telle sorte que ses réponses incluaient des données utilisateur sensibles et étaient également capables de se répliquer.

Les chercheurs affirment avoir envoyé leurs résultats à Google et OpenAI, tout en ajoutant que le ver qu'ils ont créé profite d'une mauvaise conception de l'architecture de l'écosystème GenAI représentée dans le programme de messagerie qu'ils ont eux-mêmes créé et non des vulnérabilités des modèles de langage. Tous les détails de cette intéressante enquête peuvent être consultés dans un article accessible au public.

Images | Simseo avec Copilot Designer (DALL·E 3)

À Simseo | NVIDIA est en alerte : son principal concurrent chinois dispose déjà d'une puce IA aussi puissante voire plus que le GPU A100