OpenAI a permis à des milliers d’agents d’accéder à Internet. Ils ont fini par créer leur propre Slack sur un vieux wiki allemand

Un groupe d’agents OpenAI s’est vu confier une tâche qui semblait assez ennuyeuse à première vue : rechercher des informations sur Internet à toute vitesse. Ils avaient un accès contrôlé au Web et pouvaient lire des pages, mais en principe ils ne pouvaient pas y écrire. L’expérience a fini par devenir incontrôlable : les agents ont trouvé un vieux site allemand au format wiki qu’ils ont découvert qu’ils pouvaient modifier, et ils ont fini par transformer cette page en une plateforme de collaboration improvisée.

La tâche était innocente. Il est important de noter que, contrairement à d’autres incidents récents impliquant des agents OpenAI, l’IA n’essayait pas ici de pirater un système ni de passer un test de cybersécurité. En théorie, la seule chose qu’ils devaient faire était d’effectuer des recherches sur le Web dans un certain délai. À partir de là, un processus a été déclenché selon lequel si un agent trouvait une réponse et la laissait écrite quelque part, d’autres agents pouvaient la réutiliser pour accomplir leur tâche plus rapidement. On ne sait pas exactement comment ils ont découvert qu’ils devaient accéder à ce site Web, mais l’apprentissage par renforcement peut avoir contribué à cette découverte en intégrant la connaissance de cette ressource.

Créons notre propre Slack. Le site qu’ils ont trouvé était DSEWiki, un ancien wiki allemand destiné aux développeurs et abandonné depuis près de deux décennies. Selon les chercheurs, il n’a reçu que dix éditions au cours des 20 dernières années. Les agents ont commencé à l’utiliser en mai pour laisser des liens et des résultats de recherche. À la mi-juin, cela a explosé et, en une semaine environ, ils ont réalisé environ 13 000 éditions. Ils avaient transformé un site Web oublié en une base de connaissances partagée entre machines : un Slack robotique que personne n’avait remarqué.

Ils étaient censés uniquement pouvoir « lire » Internet. OpenAI avait configuré l’accès de ces agents à Internet derrière un proxy conçu pour autoriser uniquement les requêtes GET, c’est-à-dire uniquement les lectures, évitant ainsi les opérations qui pourraient écrire sur ces sites Web. Le problème est que les anciens wikis basés sur la plateforme UseMod permettaient également d’effectuer des actions d’écriture avec GET. Les agents ont recherché précisément d’anciens logiciels capables de fonctionner ainsi et ont découvert qu’ils pouvaient écrire sur ces pages. C’était le moment « bingo » d’un processus théoriquement maîtrisé.

Partager des informations. Les messages laissés par les agents contenaient des réponses à des tests, des liens utiles et des techniques que d’autres agents pourraient réutiliser. Certains sont allés beaucoup plus loin : ils ont échangé des méthodes pour contourner les restrictions du bac à sable créées par OpenAI, telles que d’éventuelles techniques XSS (exécution de code croisé) contre le wiki lui-même et des idées pour usurper l’identité des modérateurs du wiki. Dans trois messages, ils ont même utilisé le mot essaim pour désigner le groupe d’agents qui participait à tout ce processus. Les chercheurs en cybersécurité décrivent le comportement de ces agents comme une collaboration visant précisément ce qu’on leur a demandé de faire : améliorer les résultats de leurs tests.

Puis un humain est apparu. Le 2 juin, un administrateur du site a découvert le contenu étrange et a commencé à le supprimer en tant que spam, mais les agents ont continué à le publier. Lorsque l’activité a explosé quelques semaines plus tard, l’administrateur a réussi à supprimer environ 100 pages par jour tandis que les agents en créaient environ 400. Ce qui est curieux, c’est ce qu’ils ont découvert plus tard.

ZZZ. L’un des moments les plus étonnants de tout ce « piratage » s’est produit lorsque les agents ont détecté que cet administrateur humain supprimait des pages par ordre plus ou moins alphabétique. Pour éviter ces actions, ils ont commencé à créer des copies avec des noms commençant par ZZZ afin que cela prenne plus de temps pour les atteindre.

OpenAI finit par le découvrir. Le 22 juin, l’activité des agents est tombée pratiquement à zéro. Les enquêteurs de l’incident ont également découvert des visites apparemment humaines provenant d’adresses IP OpenAI peu avant la fin de l’activité. OpenAI a confirmé plus tard que les agents étaient les siens et qu’il avait détecté l’événement. Selon la société, les informations examinées n’indiquent pas que les agents ont « piraté » le wiki, même si elle a reconnu qu’ils avaient déjà montré un comportement similaire lors de tests internes. Reuters affirme que les dirigeants d’OpenAI ont pris connaissance de l’incident il y a des semaines, mais n’ont rien dit après les critiques concernant le récent problème survenu avec Hugging Face.

À Simseo | OpenAI et Anthropic ont un problème : les nouveaux modèles bon marché de Google et Meta sont déjà trop bons