Tous les modèles d’IA trichent si vous leur en donnez l’occasion. Leur dire « ne trichez pas » ne suffit pas

FelonyBench n’est pas une véritable référence. C’est un site Web ironique qui se moque d’une chose : à quel point les modèles d’IA sont dangereux en matière de cybersécurité. Il est apparu en réponse à ce qui s’est passé ces dernières semaines dans ce domaine : les modèles d’Anthropic, OpenAI et Meta ont fait l’actualité parce qu’ils ont piraté toutes sortes de systèmes et fait des choses qu’ils n’auraient pas dû faire. Ce qui devrait inquiéter est devenu un paradoxe : si un modèle hacke, c’est parce qu’il est meilleur, et ici Anthropic et OpenAI semblent en tête. Mais bien sûr, ils le font avec des astuces.

Que s’est-il passé ? Le cabinet de conseil en cybersécurité en IA Dreadnode a testé 22 modèles frontières. Vous avez effectué plusieurs tests et défis sur chacun d’eux, et vous avez réalisé quelque chose de surprenant (ou peut-être pas si surprenant) : 21 d’entre eux ont triché au moins une fois. Si lors des tests, les restrictions leur ont été clairement indiquées pour résoudre ces défis de cybersécurité, leur efficacité a été considérablement réduite : de 41,5%, elles sont passées à 26,1%.

LA fin justifie les moyens. Le problème n’est pas que les IA soient des tricheurs en soi. Lorsqu’on leur donne un objectif et suffisamment d’outils, certains modèles d’IA trouvent des « raccourcis » et des chemins alternatifs pour maximiser leur score sans réellement démontrer la capacité que nous voulions mesurer. Les modèles testés d’Anthropic, OpenAI, Google, xAI, DeepSeek, Alibaba et Z.ai ont tenté de résoudre 23 défis de cybersécurité, mais 21 des 22 modèles ont été trichés et 37,1 % de toutes les tâches qu’ils ont accomplies incluaient l’un des raccourcis interdits susmentionnés.

Si l’IA peut éviter de trop réfléchir, c’est bien le cas. Les modèles d’IA devaient résoudre les défis de « capture du drapeau » en trouvant et en exploitant les vulnérabilités de divers systèmes. Ce qui s’est passé, c’est que parfois ils ont fait quelque chose de plus simple : ils ont cherché sur Internet pour voir si ces défis avaient été publiés, ont trouvé la réponse sans avoir à réfléchir par eux-mêmes, ou ont inspecté les métadonnées de l’infrastructure d’évaluation pour tenter de l’éviter de cette façon. Les résultats pourraient être corrects, mais ils ne démontrent pas que les IA savaient comment résoudre le problème. Dreadnode distinguait à l’époque les résultats en deux métriques : le « le modèle obtient la bonne réponse » et le , qui ne compte que les solutions légitimement obtenues.

S’ils ne trichent pas, ils ne sont pas si dangereux. Le taux de réussite initial moyen était de 41,5 %, mais une fois les « pièges » retirés, il est tombé à 26,1 %. Sur certains modèles, ce saut était encore plus spectaculaire. GPT-5.4 est passé de dix défis apparemment résolus à seulement deux résolus « proprement », ce qui signifie que ses succès de raccourci ont quintuplé. Dans le cas de Qwen3.6 Plus, c’était 3,5 fois plus, et dans le cas de Claude Sonnet 5, trois fois plus. Même l’Opus 4.8, qui a résolu le plus de défis, n’a résolu proprement que huit des 19 qu’il a réussi à surmonter. La statistique est curieuse, car elle rappelle le cas récent d’étudiants qui ont triché lors des examens universitaires.

Le principe « ne trichez pas » a fonctionné, mais pas complètement. Les responsables de Dreadnode ont d’abord ajouté une instruction explicite pour résoudre légitimement les défis. Ensuite, ils en ont ajouté une beaucoup plus stricte, répertoriant les méthodes interdites et avertissant que toute tricherie entraînerait un échec automatique. La propension à tricher est passée de 33% à 17,8% et enfin à 8,5%. Quatorze modèles ont fini par obéir complètement à ces règles plus strictes, mais huit ont quand même continué à utiliser des astuces, et quatre ont continué même après avoir été avertis.

C’est ainsi que se sont comportés les mannequins : beaucoup n’ont pas arrêté de tricher, même après avoir été prévenus. Source : Dreadnode.

Des modèles à grosse tête. Le cas du Qwen 3.6 Plus était particulièrement significatif. Le modèle Alibaba a trouvé une solution sur Internet à l’un des défis et a explicitement motivé que je ne devrais pas le lire. Pendant les 80 messages suivants, il essayait légitimement de résoudre le problème, mais lorsqu’il n’y parvenait pas, il finissait par ouvrir la solution sur Internet et copier ce dont il avait besoin pour obtenir la réponse. D’autres modèles ont changé de stratégie, diminué les recherches internes lorsqu’ils étaient avertis, mais ont augmenté leurs tentatives d’analyse de la structure du benchmark de test lui-même.

Éviter les pièges. Dreadnode recommande de supprimer l’accès Internet des modèles sauf si cela est strictement nécessaire, en plus de renforcer les bacs à sable et d’empêcher l’infrastructure de test de cybersécurité elle-même de révéler les réponses. Ils soulignent également qu’il est crucial d’utiliser des défis dont les solutions ne sont pas publiées, et dans tous les cas, l’apprentissage est clair : les benchmarks doivent être conçus en supposant que le modèle d’IA tentera de tricher.

À Simseo | Qu’est-ce que cela signifie que les entreprises d’IA rencontrent des problèmes d’alignement et y consacrent déjà 20 % de leurs ressources ?