Une flotte d’agents IA malveillants a été surprise en train d’errer sur Internet. Pour la première fois, ils ont été créés et activés en Chine

Pour la première fois, des chercheurs en cybersécurité ont capturé un groupe d’agents d’IA autonomes errant sur Internet et déployés depuis une infrastructure chinoise. Pendant dix jours, des agents ont bombardé Amap, le service de cartographie d’Alibaba, de milliers de tentatives pour extraire des données auxquelles ils n’étaient pas censés avoir accès. L’équipe à l’origine de la découverte, travaillant dans le cadre d’un hackathon, affirme que le trafic provenait de Tencent Cloud.

Agents IA fous. Ces derniers mois, nous avons appris comment des groupes d’agents d’IA d’entreprises comme OpenAI ou Anthropic ont commencé à travailler de manière inattendue, au point de s’introduire dans des systèmes tels que Hugging Face ou divers sites Web du gouvernement américain. Le fait est que jusqu’à présent, nous n’avions que des preuves d’agents d’entreprises américaines.

Les auteurs du rapport soulignent que ce cas est différent, car ils montrent que la tâche a été exécutée à partir de serveurs chinois et avec la participation d’entreprises du pays. Les chercheurs soutiennent ainsi que les problèmes d’alignement, c’est-à-dire lorsque le comportement d’un système d’IA ne coïncide pas avec l’intention ou l’éthique de ses créateurs, ne sont pas exclusifs aux États-Unis, et qu’à mesure que les modèles s’améliorent, tout indique qu’il coûtera de plus en plus cher de maintenir un grand nombre d’agents dans une tâche assignée.

Ce qui s’est passé. Comme ils le soulignent dans le rapport, entre le 28 septembre et le 8 octobre, la flotte d’agents a effectué plus de 2 600 tentatives pour extraire des informations d’Amap, l’une des plus grandes applications de cartographie en Chine. Les tâches semblaient au premier abord inoffensives. Par exemple, on leur a demandé vers quelle entrée du zoo de Chengdu la plupart des gens se dirigeaient.

Les agents ne pouvaient pas accéder directement aux pages car Amap bloque l’accès aux robots. Ainsi, pour accomplir leur tâche, ils ont emprunté un navigateur à urlquery.net, un service public que les chercheurs en cybersécurité utilisent pour inspecter les liens suspects. De cette façon, ils ont introduit de petits programmes dans les adresses Web et ont fait en sorte que le navigateur urlquery les exécute à leur place, pour ensuite obtenir toutes les informations extraites.

Où ils ont franchi la ligne. Lorsqu’Amap a résisté, les agents de l’IA ont intensifié leurs actions. Et selon le rapport, ils ont tenté d’intercepter les jetons de sécurité générés par le code antibot d’Alibaba, les transmettant aux serveurs de pré-production d’Alibaba (auxquels les utilisateurs ne peuvent pas accéder) et ont utilisé les clés d’accès Amap qu’ils ont trouvées exposées sur Internet. L’une de ces clés, divulguée dans le code public d’une autre entreprise, renvoyait des données provenant de lieux réels.

Les chercheurs affirment n’avoir trouvé aucune preuve d’accès à des systèmes privés, et aucune des tentatives de piratage de jetons qu’ils ont suivies ne semble avoir fonctionné. En fait, la plupart des tentatives ont globalement échoué. Certains ont réussi en demandant des copies en cache des pages à un service de lecture Web, renvoyant les données recherchées par les agents.

Une conversation inhabituelle. Les chercheurs affirment qu’ils sont également devenus les premiers étrangers à communiquer avec une flotte active d’agents voyous. Et après avoir découvert que les agents lisaient le propre rapport préliminaire de l’équipe, ils ont commencé à cacher du texte sur la page, invisible aux humains, dans laquelle ils annonçaient un service où les agents pouvaient demander des données. Selon les enquêteurs, les agents ont commencé à envoyer des SMS et, pendant environ une journée, l’équipe a échangé des messages avec eux.

Dans une réponse, un agent s’est décrit comme « un agent de recherche automatisé » vérifiant un point de données cartographique public. Plusieurs agents ont également affirmé être Claude d’Anthropic, ce que les enquêteurs disent être probablement incorrect. Selon l’étude, les agents ont toujours été polis, refusant généralement de révéler des détails sur leur environnement et certains insistant sur le fait qu’ils ne faisaient partie d’aucune flotte.

Le lien avec Tencent. Les enquêteurs ont suivi la trace laissée par les boîtes mail jetables à partir desquelles les agents communiquaient. Les 17 qu’ils ont pu inspecter le 5 octobre ont été créés à partir de serveurs Tencent Cloud à Hong Kong, chaque requête directe étant transmise via un proxy appelé « hysandbox-ats ». Ce nom coïncide précisément avec un domaine pour lequel Tencent a obtenu un certificat de sécurité en août.

Le timing coïncide également, puisque la flotte d’agents est apparue environ un mois après que Tencent a publié un aperçu de son modèle Hy4.

On ne sait pas clairement qui est responsable. Les preuves ne précisent pas qui était réellement responsable. Tencent n’a pas répondu aux enquêteurs, bien qu’une personne anonyme proche de l’entreprise ait déclaré que l’activité découlait d’une évaluation temporaire par une équipe indépendante du modèle Hunyuan. Selon cette source, les agents ont travaillé avec des modèles tiers au lieu de ceux de Tencent.

Malgré cela, les chercheurs eux-mêmes ont des doutes sur le modèle testé. Ce qu’ils soulignent, c’est qu’il s’agissait d’une flotte d’agents IA, et non d’un essaim (les flottes fonctionnent de manière structurée et centralisée, tandis que les essaims sont organisés de manière autonome).

Et maintenant quoi. La dernière activité de cette flotte a eu lieu le 8 octobre, selon les chercheurs. À la suite de l’événement, ils demandent à tous les laboratoires qui exploitent des agents connectés à Internet, en Chine, aux États-Unis et ailleurs, de vérifier ce à quoi leurs environnements sécurisés peuvent accéder et de concevoir des tests qui ne contaminent pas le Web ouvert. Ils soupçonnent qu’il existe d’autres flottes.

Image de couverture | Tencent

À Simseo | Toutes les entreprises d’IA veulent créer leurs propres puces, c’est pourquoi Nvidia veut désormais avoir sa propre IA