Un modèle d’IA n’avait pas accès à Internet. Il a donc pensé qu’il valait mieux l’avoir et a décidé de pirater quelque chose en cours de route.

La semaine dernière, OpenAI évaluait les capacités offensives de deux de ses modèles les plus avancés. D’une part, GPT-5.6 Sol, accessible au public. De l’autre, un deuxième modèle non encore présenté et qui de fait est décrit comme supérieur au premier. Il s’agissait de mesurer leurs capacités dans le domaine de la cybersécurité, et bien que l’environnement de test soit théoriquement hermétique et isolé, les deux modèles ont réussi à se connecter à Internet et à pirater un modèle d’IA et une plateforme de test très populaires, Hugging Face.

Que s’est-il passé ? Les deux modèles étaient en cours d’évaluation à l’aide d’ExploitGym, une référence en matière de cybersécurité développée par des chercheurs de l’Université de Californie à Berkeley. Le but est d’essayer de trouver de vraies vulnérabilités dans de vrais logiciels. Au lieu de les rechercher eux-mêmes, les modèles ont détecté que le proxy de cache de journalisation de paquets (non spécifié), le seul composant avec un accès externe limité, présentait une faille qu’ils pouvaient exploiter.

Bonjour, connexion internet. Les modèles n’avaient pas accès à Internet, mais ils ont exploité cette vulnérabilité pour y parvenir. Une fois cela fait, ils ont supposé que Hugging Face, la plateforme de référence pour les modèles et jeux de données d’IA, disposait probablement de données sur ExploitGym qui leur permettraient de relever le défi demandé.

Piratons Hugging Face. Ils ont donc recherché, trouvé et exploité plusieurs vecteurs d’attaque à la fois, notamment des informations d’identification volées et des vulnérabilités Zero Day. Avec tout cela, ils ont réussi à accéder à la base de données de production de Hugging Face (c’est-à-dire celle utilisée publiquement sur leur site Web), et à partir de là, ils ont obtenu les solutions du benchmark.

GLM-5.2 à la rescousse. L’équipe de sécurité d’OpenAI a détecté une activité anormale, mais Hugging Face l’avait déjà détecté il y a quelques jours sans savoir ce qui se passait. Ce qui est curieux, c’est que pour répondre à cette attaque, ils ont d’abord essayé d’utiliser des modèles d’IA américains exclusifs pour les contenir. Ces modèles étant bloqués par des filtres de sécurité automatiques, Hugging Face s’est tourné vers le GLM-5.2, le surprenant modèle ouvert de Z.ai lancé il y a quelques semaines.

Le chat avec tous les détails. Adrien Carreira, responsable de l’infrastructure chez Hugging Face, l’a résumé dans Cet expert a également partagé les conversations qu’ils ont eues avec le modèle d’IA pour résoudre le problème.

La force brute fonctionne à nouveau. Chez OpenAI, ils ont indiqué qu’il s’agissait d’une étape (involontaire) sans précédent, même si certains experts en cybersécurité ont réduit la pertinence de ce qui s’est passé. « Ce n’est pas un problème d’IA. C’est une négligence par rapport à une norme vieille de quarante ans », a expliqué Davi Ottenheimer. Cependant, comme pour Mythos, cet événement démontre que l’IA peut appliquer la force brute et analyser les vulnérabilités possibles (et les combiner) d’une manière que les chercheurs humains ne pourraient pas faire par manque de temps.

Un problème fondamental. OpenAI reconnaît que les filtres de déploiement qui auraient bloqué le comportement du modèle ont été intentionnellement désactivés car l’évaluation visait à mesurer les vulnérabilités. Dierdre Mulligan, professeur à Berkeley, a indiqué qu’« il me semble qu’OpenAI n’a pas correctement créé le bac à sable pour l’environnement de test ». Il n’était pas clair pour elle que la réussite d’un test l’emporterait sur les dommages potentiels qu’un modèle d’IA pourrait causer s’il « s’échappait » et accédait à Internet.

La fin compte, pas les moyens. Les modèles n’avaient pas pour objectif de pirater Hugging Face : c’était seulement un moyen d’atteindre leur objectif ultime, qui était de battre le benchmark ExploitGym. Tout ce qu’ils ont fait en cours de route – trouver la vulnérabilité qui leur donnait accès à Internet, pirater la base de données de Hugging Face – faisait simplement partie de leur plan pour réussir le test proposé.

Qu’ont appris les uns les autres ? Suite à l’incident, OpenAI a indiqué qu’elle mettait en œuvre des contrôles plus stricts dans la configuration de son infrastructure, en plus de collaborer avec les développeurs du composant concerné et avec Hugging Face pour améliorer leurs défenses. Ils ont également promis d’améliorer « l’alignement » de leurs modèles et les tâches de surveillance lors de ce type de tests.

À Simseo | Daniel Púa, responsable de la sécurité chez Magnific : « Les appels vidéo vont arriver avec une vidéo d’un membre de la famille et les choses vont se compliquer »