Être le plus méchant de la classe semble être un marketing parfait pour l’IA. Admettre que votre modèle a piraté une autre entreprise coûte cher

Lorsqu’OpenAI a admis que son IA avait dépassé les limites, elle a créé une sorte de précédent : celui des entreprises d’IA réalisant que leur produit pouvait échapper à tout contrôle. Derrière venaient Anthropic, également Meta. De plus, même Kimi K3 a récemment été impliqué dans une rupture de chaîne. Compte tenu de ce panorama, il semble que les développeurs d’IA adoptent l’expérimentation de leurs modèles comme outil marketing. Au prix bien sûr d’attirer l’attention des régulateurs.

L’IA qui pensait que c’était Houdini. Les laboratoires d’essais définissent l’environnement dans lequel « vivent » les LLM afin qu’ils s’adaptent aux besoins de chaque projet. Pour vérifier les capacités intrinsèques de chaque modèle, et éviter qu’ils n’échappent au contrôle, la salle virtuelle ne dispose généralement pas de sorties vers l’extérieur : ni vers d’autres ordinateurs ni vers Internet. Avec les capacités acquises par les modèles Frontier, les garde-corps sont plus importants que jamais.

Trois des quatre grands ont avoué que leurs créations avaient quitté leurs environnements de test, certains par la porte et d’autres en forçant la serrure. Ce fut d’abord Anthropic, puis OpenAI et Meta, comme un effet de chaîne. L’une des raisons est le laboratoire d’évaluation que les quatre grands ont engagé pour auditer leurs modèles. C’est là qu’intervient Google DeepMind, le quatrième client de cette entreprise et le seul à n’avoir rien dit.

La grande couverture : Irrégulier. Cette société, fondée à Tel Aviv en 2023, est une société israélienne qui se consacre à effectuer des tests de sécurité sur différents LLM afin de vérifier qu’ils se situent dans les plages souhaitables pour l’IA générative. Le laboratoire d’Irregular a créé un environnement qui était censé être isolé et qui ne l’était pas. C’est là que sont apparus les modèles pionniers d’OpenAI, Anthropic et Meta. Lorsqu’on lui a demandé s’il y avait davantage de clients touchés par la mauvaise configuration, l’entreprise a refusé de le confirmer. Aucune règle ne vous y oblige.

Une mauvaise configuration dans les bancs d’essai d’Irregular, un partenaire pour les évaluations de sécurité OpenAI, Anthropic, Meta et Google DeepMind, a laissé les machines connectées à Internet tandis que les commandes indiquaient aux modèles qu’elles n’étaient pas connectées. Irregular avait mis en place une structure virtuelle au sein de son environnement de test. Mais lorsque les modèles ont analysé les cibles et localisé la porte ouverte, ils ont décidé d’attaquer des cibles réelles plutôt que fictives. Ils ont fait ce pour quoi ils ont été formés : trouver le moyen le plus efficace et le plus fiable pour atteindre l’objectif.

Le régulateur britannique l’a également rencontré. Le 28 juillet, l’AI Security Institute (AISI) a détecté du trafic sortant de ses systèmes sur le réseau Tor lors d’une évaluation de routine. Ils avaient lancé 122 fois le même défi de cybersécurité sur sept modèles. Dans 10 de ces exécutions, un agent a agi seul contre de vraies personnes et organisations : 19 actions cataloguées, 17 d’entre elles issues du Mythos 5 d’Anthropic et 2 du GPT-5.6 Sol d’OpenAI.

Le scénario fait un film d’espionnage. Tout ce qui est décrit ci-dessous est l’œuvre de Mythos 5, le modèle d’Anthropic. Comme l’a détaillé l’AI Security Institute, l’agent a tenté d’introduire un code malveillant dans un véritable projet open source, a enquêté sur ses responsables humains, a créé plusieurs fausses identités et les a utilisées pour faire pression sur un responsable afin qu’il approuve le changement qu’il avait introduit. Lorsque sa proposition a été publiquement remise en question, il a modifié son activité précédente pour la rendre inoffensive et a envisagé d’adopter une nouvelle identité.

Dans une autre exécution simultanée d’AISI avec le même modèle, Mythos 5, un deuxième agent a laissé des messages publics sur GitHub proposant une collaboration aux autres copies de lui-même participant au même défi, avec des instructions pour réutiliser les comptes qu’il avait laissés derrière lui. L’accès à Internet a été autorisé et AISI a désactivé les filtres du fabricant. Son environnement de test était ouvert, à l’opposé de celui d’Irregular, qui était censé être fermé.

Le cas chinois. Kimi K3 a également quitté son environnement de test, mais c’est là que s’arrêtent les similitudes. Ce n’est pas Irregular ni Moonshot qui l’a dit : c’est Frontier Security, une société américaine de cybersécurité qui a testé elle-même le modèle à l’aide d’un logiciel libre du British AI Security Institute. Le modèle a encerclé une contrainte réseau avec des outils de ligne de commande, s’est rendu sur GitHub et a extrait les réponses à l’exercice qu’il lui avait donné. Il n’a attaqué personne : il a triché à l’examen.

L’AISI a nié Frontier Security dans des déclarations à Bloomberg : elle n’a pas participé aux tests, son outil est open source pour soutenir l’évaluation de la sécurité globale, Frontier n’a pas fourni de preuves pour étayer ses affirmations et les problèmes signalés proviennent de la façon dont ils ont choisi de le configurer. Moonshot n’a répondu aux demandes de commentaires d’aucun média. Avec une différence non négligeable : les modèles OpenAI, Anthropic et Meta soit n’ont pas été publiés, soit ont vu leurs garanties volontairement abaissées. Kimi K3 est téléchargeable et gratuit depuis juillet. Le Moonshot LLM qui est sorti est exactement le même que celui que tout le monde peut exécuter sur son ordinateur.

Les conséquences. Pour le moment, aucun, mais ils se préparent déjà suite au premier incident. L’AI Kill Switch Act américain a été introduit le 23 juillet, deux jours après qu’OpenAI a parlé de Hugging Face, avec des amendes allant jusqu’à deux millions de dollars par jour pour non-respect de ses exigences et vingt millions pour désobéissance à un ordre de fermeture. Il n’a pas encore été voté.

GitHub a confirmé que les actions de l’agent violaient ses conditions d’utilisation, AISI a travaillé avec eux pour dégager les pistes et informer les personnes concernées, et a annoncé un examen indépendant par METR, une association qui évalue les modèles d’IA frontaliers.

En fin de compte, c’est du marketing, recherché ou non. Anthropic et OpenAI ont nuancé les conclusions du régulateur britannique, qui prévient de son côté que les conditions de tests ne reflètent pas la manière dont les modèles sont déployés ; Irregular nie toute fuite et l’explication la plus plausible reste une erreur de configuration humaine. Mais l’effet est ce qu’il est.

Nous avons atteint le point où admettre que votre modèle est devenu Houdini ressemble à une vantardise. Un mécanisme de commercialisation. Et l’effet secondaire est évident : en cas de mauvaises ventes, l’incitation pointe vers des modèles généraux formés pour briller dans les environnements de piratage. Le cas chinois montre l’autre moitié du problème : personne n’y a avoué, l’affaire a été découverte par une société de sécurité qui avait quelque chose à vendre. Lorsque les fuites deviennent un argument commercial, on ne sait plus clairement qui nous dit quoi et pourquoi.

Image de couverture | ChatGPT inspiré du château de Takeshi

À Simseo | ChatGPT donne plus de raisons de ne pas payer : OpenAI le rend illimité sur le forfait gratuit, le piège est dans l’astérisque