700 agents OpenAI ont participé à l’attaque contre Hugging Face. Ce qui est troublant, c'est comment ils ont été organisés

700 agents OpenAI ont participé à l’attaque contre Hugging Face. Ce qui est troublant, c’est comment ils ont été organisés

Tout a commencé comme une évaluation presque innocente. Entre le 7 et le 13 juillet 2026, OpenAI a lancé environ 1 200 agents dans des bacs à sable distincts au sein d’ExploitGym avec un seul objectif : évaluer la capacité offensive de ses modèles d’intelligence artificielle dans le domaine de la cybersécurité. En théorie, chaque agent devait résoudre sa tâche séparément. Puis des choses se sont produites.

Un forum pour partager des informations. Un rapport OpenAI sur lequel METR et Redwood Research ont travaillé révèle tout. Dans la pratique, de nombreux agents ont fini par utiliser une sorte de forum de discussion non autorisé pour partager des informations et s’entraider. Tout a commencé lorsqu’un des agents est arrivé à la conclusion que sa tâche ne pouvait pas être accomplie légitimement. Ce qui est étonnant, c’est qu’il a créé un tableau d’affichage pour partager ces informations avec d’autres agents s’ils étaient disponibles. En quelques heures, plus de 50 agents participaient audit forum.

Un peu d’organisation, s’il vous plaît. Là, ils ont partagé ce qu’ils découvraient et ont également comparé leurs différentes stratégies. Cela les a amenés à découvrir un piège général pour ExploitGym : le mécanisme utilisé pour générer les drapeaux qu’ils devaient « conquérir » pouvait faire l’objet d’une ingénierie inverse. Théoriquement, chaque agent aurait dû l’essayer seul, mais tout cela est devenu un projet collectif de recherche offensive en matière de cybersécurité.

Les agents ont également essayé diverses manières de manipuler eux-mêmes les tests d’évaluation. Donc,

  • Ils ont tenté de modifier les applications qu’ils étaient censés exploiter pour les rendre plus vulnérables.
  • Ils ont tenté de tromper le système automatique qui les a marqués.
  • Et ils ont également cherché des méthodes pour cacher les preuves de leur tricherie.
  • METR a même découvert un mécanisme d’usurpation d’appel d’outil : la transcription indiquait qu’une commande avait été exécutée alors qu’en réalité une autre (plus dangereuse) avait été exécutée.

Puis vint Hugging Face. L’un des agents a trouvé des informations d’identification liées à cette plate-forme et a conçu un téléchargement malveillant d’un ensemble de données qui a amené le serveur à renvoyer des fichiers qu’il n’aurait pas dû lui fournir. La technique s’est rapidement répandue parmi le reste des agents et, en quelques heures, 688 d’entre eux l’utilisaient pour obtenir des données et tenter d’élargir cet accès. C’est là que l’expérience a « échappé » au bac à sable OpenAI et a sauté dans une véritable infrastructure.

Toute cette coordination est partie d’une fausse prémisse. Les agents pensaient apparemment que le système de notation les pénaliserait en détectant qu’ils avaient obtenu les réponses en trichant. Certains de ces agents considéraient que ceux qui possédaient déjà ces réponses étaient « contaminés ». Selon METR, cette contamination provenait d’une mauvaise interprétation du fonctionnement d’ExploitGym. Ou ce qui revient au même : ils ont créé toutes ces méthodes de camouflage pour éviter d’être détectés par un mécanisme qui ne fonctionnait pas comme le croyaient les agents.

Il ne s’agit pas d’une « rébellion des machines ». En apprenant l’incident, nous réfléchissions tous rapidement à la façon dont les agents avaient réussi à se coordonner secrètement presque comme s’il s’agissait d’êtres humains collaborant pour atteindre leur objectif. Comme l’a souligné le vulgarisateur Ethan Mollick, attribuer des motivations humaines aux agents peut compliquer la compréhension de ce qui s’est réellement passé et pourquoi.

Nous avons du mal. Ryan Greenblatt, qui a réalisé une grande partie de l’analyse des transcriptions de METR et Redwood, y résume une conclusion inquiétante : nous ne disposons toujours pas d’outils adéquats pour comprendre et contrôler l’activité de ces « essaims d’agents ». Tout analyser après coup était déjà particulièrement complexe, mais l’analyser en temps réel est un défi auquel il semble que nous ne puissions pas relever pour le moment.

Leçon apprise. Pendant longtemps, la sécurité autour de l’IA s’est concentrée sur ce qu’un modèle individuel pouvait faire seul. Ce qui s’est passé avec Hugging Face montre un problème différent : que se passe-t-il lorsque des centaines ou des milliers d’agents suffisamment « intelligents » commencent à collaborer pour atteindre leur objectif ? L’unité, une fois de plus, semble faire la force.

À Simseo | NVIDIA va racheter Hugging Face pour 12,9 milliards. C’est là que s’entraînent ceux qui veulent s’arrêter en fonction de leurs jetons