Cyberincident OpenAI-Hugging Face, les protagonistes s’expriment
Que s’est-il réellement passé entre le 9 et le 13 juillet 2026 lors des tests des capacités de calcul avancées des modèles OpenAI ?
La société ChatGPT a rendu publics les premiers résultats le 21 juillet, précisant que l’enquête est toujours en cours. L’incident a été provoqué par une combinaison de modèles utilisés en interne avec des cyberprotections réduites spécifiquement pour mesurer leurs capacités offensives. Hugging Face, qui avait détecté et contenu l’activité, a ensuite publié une reconstitution technique plus détaillée.
Les enquêteurs de Hugging Face ont reconstitué environ 17 600 actions, regroupées en environ 6 280 groupes. La séquence montre un agent capable de changer de stratégie après un échec, de reconstruire des outils, de tester des hypothèses et d’utiliser les résultats obtenus pour choisir l’étape suivante.
Le point pertinent pour les entreprises ne concerne pas seulement la puissance des modèles. Il s’agit de ce qui se passe entre l’objectif assigné à l’agent et l’action finalement enregistrée par un système de sécurité.
Une décision découle de plusieurs couches d’informations
Un agent ne travaille pas uniquement sur la commande initiale. Au cours d’une tâche, vous pouvez recevoir des documents, des résultats de recherche, des réponses API, des informations d’identification, des messages, des données commerciales, du contenu Web et des informations produites par d’autres outils. Il peut également utiliser une mémoire construite lors d’interactions précédentes.
Chaque nouvel élément peut changer ce que le système considère comme possible ou approprié.
Un titre élargit les ressources accessibles. Une réponse d’un outil introduit des informations qui n’étaient pas disponibles auparavant. Une page web peut proposer un nouvel itinéraire. La mémoire peut transférer dans la tâche en cours une hypothèse recueillie des jours ou des semaines plus tôt.
Lorsque l’agent exécute enfin une commande, le journal ne peut afficher que la dernière partie de cette séquence : une identité accédant à une ressource, un processus interrogeant une API, une connexion à un serveur. Mais pour reconstituer pourquoi cette action a été choisie, il faut remonter à tout ce qui l’a précédée.
Le problème apparaît également dans des applications bien moins sensibles qu’un cyber test. Un agent du service client peut lire une demande, récupérer la carte de l’utilisateur, examiner les règles commerciales et envoyer un e-mail. La décision finale dépend de la combinaison des instructions système, de la demande reçue, des documents récupérés, de la mémoire disponible et des autorisations.
Chaque composant peut être légitime. C’est leur interaction qui détermine le comportement.
Quand les données commencent à fonctionner comme des instructions
Les logiciels traditionnels ont tendance à séparer les instructions exécutables et les données. Dans les agents basés sur des modèles de langage, cette distinction devient moins claire, car les deux peuvent être exprimés dans le même format : le langage naturel.
Un agent interprète le texte pour déterminer quoi faire. Cependant, le même texte peut provenir d’un email, d’une page web, d’un document récupéré, d’un commentaire dans le code ou de la réponse d’un outil.
Un contenu présenté comme une simple information peut donc modifier le plan.
La reconstruction de Hugging Face offre un exemple technique. Lorsqu’une liste blanche d’URL empêchait certaines tentatives de récupération de ressources distantes, l’agent recherchait des itinéraires alternatifs. Selon Hugging Face, il a exploité des configurations malveillantes d’ensembles de données pour inciter les systèmes informatiques à lire des fichiers locaux et a ensuite utilisé l’injection de modèles pour exécuter du code. Les résultats revenaient via des API et des ensembles de données contrôlés par l’attaquant et alimentaient les mouvements ultérieurs.
Le flux de données est ainsi également devenu un flux d’instructions et de retours d’informations.
C’est le problème qui, dans la sécurité des systèmes d’agents, est également lié à l’injection rapide : des contenus provenant d’une source externe peuvent altérer le comportement d’un agent si le système ne maintient pas une séparation efficace entre le matériel d’information et les instructions autorisées.
Parler uniquement de « invites » risque donc de décrire une trop petite partie du processus.
Le contexte s’accumule au fur et à mesure que l’agent travaille
Le contexte opérationnel d’un agent peut inclure les instructions définies par le développeur, la demande de l’utilisateur, les documents récupérés lors de la tâche, l’historique des conversations, la mémoire à long terme, les résultats produits par les outils et les autorisations disponibles.
Ces éléments n’ont pas tous le même poids ni la même fiabilité.
Un document provenant d’Internet ne devrait pas avoir la même autorité qu’une politique d’entreprise. Les données stockées il y a des mois sont peut-être devenues obsolètes. Un titre doté de privilèges étendus peut transformer une mauvaise décision en un grave accident. L’ajout d’un nouvel outil peut rendre exécutable une action qui, jusqu’alors, n’était que suggérée par le texte.
L’Institut national américain des normes et de la technologie (NIST) a abordé une partie du problème dans son document de réflexion. Accélérer l’adoption des logiciels et de l’identité et de l’autorisation des agents d’intelligence artificiellepublié le 5 février 2026. Le document examine l’identité, la délégation, l’autorisation, l’audit et la responsabilité des agents, et se demande comment les systèmes de contrôle d’accès doivent s’adapter aux architectures dans lesquelles l’agent agit au nom d’une personne ou d’une organisation.
L’identité de l’agent ne suffit donc pas. Décider si une action doit être autorisée prend également en compte l’objectif assigné, la source des informations utilisées et l’autorité déléguée.
Une chaîne de traçabilité pour reconstruire les décisions
Dans le travail médico-légal, le chaîne de contrôle documente l’origine d’un test, les sujets qui l’ont réussi et les transformations qu’il a subies. Pour les agents IA, un principe similaire appliqué au contexte peut être utile.
Cela ne signifie pas enregistrer sans discernement chaque mot traité par le modèle. Cela signifie conserver suffisamment d’informations pour reconstruire le chemin qui relie une source à une décision.
Si un document externe introduit une indication, le système doit être capable d’en identifier l’origine. Si ces informations sont transférées en mémoire, il devrait être possible de savoir quand elles ont été acquises et dans quelle mesure elles restent fiables. Si un outil rend possible l’action proposée et qu’un identifiant permet de la réaliser, ces étapes doivent également rester connectées.
Le modèle proposé par Point de contrôle organise le problème autour de certains attributs du contexte : origine, fiabilité, objectif, pertinence, sensibilité et influence. Le dernier élément concerne le lien entre information et décision : quel appel à un outil, quel résultat ou quel choix a été modifié par un certain contenu.
Sans cette connexion, une organisation peut collecter de grandes quantités de journaux sans savoir pourquoi un agent a jugé une action particulière appropriée.
Les contrôles doivent suivre l’activité de l’agent
La conséquence affecte également la manière dont les politiques de sécurité sont appliquées.
Contrôler un agent uniquement au début de la tâche laisse les modifications ultérieures découvertes. Au cours de l’exécution, de nouvelles informations, de nouvelles destinations, des privilèges supplémentaires ou des outils peuvent apparaître qui modifient le risque de l’opération.
Une demande initialement anodine peut acquérir différentes conséquences après avoir récupéré un document externe ou accédé à des informations confidentielles. Dans ces cas, l’autorisation devrait pouvoir être réévaluée.
L’approbation humaine peut être requise pour les opérations à fort impact. Une destination inattendue peut être bloquée. Les données sensibles peuvent être masquées avant un appel externe. Un outil peut être limité à l’ensemble des opérations nécessaires à la tâche.
Check Point propose des contrôles de ce type lors de l’exécution sur sa plateforme, qui analyse les invites, le contenu externe, les flux de données et les appels d’outils. Il s’agit d’une solution commerciale et les affirmations concernant ses capacités proviennent du fabricant ; le principe général coïncide cependant avec le problème évoqué par le Nist : les identités et les autorisations doivent tenir compte de l’action que l’agent tente de réaliser et de l’autorité avec laquelle il opère.
L’affaire Hugging Face déplace le périmètre de sécurité
Hugging Face a déclaré n’avoir trouvé aucune preuve de modifications des modèles publics, des ensembles de données utilisateur, des espaces ou de sa chaîne de distribution de logiciels. Au lieu de cela, l’entreprise a détecté un accès non autorisé à un ensemble limité d’ensembles de données internes et à plusieurs informations d’identification utilisées par les services. Au moment de la première communication, l’entreprise étudiait encore si des données de partenaires ou de clients pouvaient être impliquées.
OpenAI a lancé un examen avec des consultants externes et sous la supervision de son comité de sûreté et de sécurité. L’entreprise a également annoncé des interventions sur le confinement des environnements d’évaluation, la surveillance et les contrôles d’accès. Les conclusions définitives sur l’accident n’ont pas encore été publiées.
Ce que Hugging Face a changé après l’accident
Jusqu’à présent, nous avons parlé de la réponse adoptée par Hugging Face à un niveau général. Concernant le renforcement technique :
- Fermeture des deux chemins d’exécution de code : sandbox d’évaluation désactivé avec l’aide du fournisseur tiers, et le moteur de rendu de configuration de l’ensemble de données n’évalue plus les expressions de modèle dans les champs de données et ne traite plus incorrectement les références externes HDF5.
- Blocage des métadonnées cloud : certaines charges de travail peuvent atteindre le service de métadonnées d’instance, Imdsv2. L’accès à ce service est désormais bloqué au niveau du pod pour toutes les charges de travail, de sorte qu’une exécution de code à distance, Rce, au sein d’un pod ne peut pas facilement se transformer en obtention d’informations d’identification de nœud.
- Rotation étendue des informations d’identification : rotation de tous les jetons et informations d’identification utilisés par l’infrastructure, même dans les clusters auxquels on n’avait pas accédé auparavant, y compris les clés d’authentification VPN, les clés IAM, les informations d’identification de base de données et les JWT. Là où cela n’était pas encore implémenté, nous sommes passés à l’identité de la charge de travail.
- Reconstruction de l’infrastructure de base : après avoir identifié un mouvement latéral vers l’un des principaux clusters, celle-ci a été annulée et entièrement reconstruite à partir de zéro, par mesure de précaution supplémentaire.
- Portée plus étroite des informations d’identification : le connecteur de service interne n’aurait pas dû renvoyer l’intégralité du catalogue de cluster à un seul client éphémère. Il s’agissait d’un défaut de configuration un peu évident dans le système d’accès au cluster ; a été corrigé et maintenant chaque cluster est complètement isolé.
- Capacité de détection améliorée : introduction d’alertes de gravité critique pour les signatures comportementales décrites ci-dessus, de contrôles plus stricts sur la source des connexions réseau et d’outils qui signalent l’utilisation de jetons provenant de sources inattendues.
Cependant, la séquence déjà documentée indique un besoin opérationnel précis pour ceux qui introduisent les agents AO dans les processus de l’entreprise. Savoir quel compte a réalisé une action reste nécessaire, mais ne permet pas en soi de reconstruire le comportement d’un système capable de mettre à jour continuellement son plan.
Il faut savoir quel but il poursuivait, quelles sources il consultait, quelles informations étaient entrées dans sa mémoire, quels outils étaient disponibles et quelles autorisations transformaient une possibilité en action.
Le journal final raconte ce qui s’est passé. La chaîne de contrôle contextuelle sert à reconstituer pourquoi cela s’est produit et, surtout, à intervenir avant que la séquence n’atteigne la dernière commande.
Principales sources
OpenAI, 21 juillet 2026 ;
Hugging Face, reconstitution médico-légale de l’accident de juillet 2026 ;
Nist/NCCoE, document conceptuel daté du 5 février 2026 ;
Check Point, 4 août 2026.
