Mythos et GPT-5.6 ont agi comme de dangereux pirates informatiques. Le problème est que les experts leur ont laissé la porte ouverte.
L’AI Security Institute (AISI) a entrepris d’évaluer les capacités de cybersécurité de Claude Mythos 5 et GPT-5.6 Sol et a découvert quelque chose : les agents d’IA déployés par ces modèles ont franchi des lignes qu’ils n’auraient a priori pas dû franchir. À 19 reprises, ils ont mené des actions non autorisées visant à attaquer des tiers. Mais attention, car il y a ici des détails très importants qui montrent clairement que ces modèles n’étaient pas responsables de leurs actes.
La fin justifie les moyens. Le plus grave a été le cas de Mythos, qui a tenté d’introduire un code malveillant dans un projet de logiciel libre, allant jusqu’à créer de fausses identités et à faire pression sur le responsable du projet pour qu’il approuve le changement. Au final, il n’y a eu aucun dégât, mais ceux qui ont été scandalisés auraient dû garder une chose à l’esprit : ils n’auraient pas dû simplement laisser ces modèles se connecter à Internet. Une fois de plus, l’IA a juste essayé de faire ce qu’on lui demandait de faire… par tous les moyens.
Lâcher la laisse sur l’IA. Les modèles ne se sont échappés d’aucun bac à sable ni n’ont trouvé de moyen de sortir par eux-mêmes. Ceux qui les ont évalués ont fourni un accès à Internet et désactivé une partie de leurs garde-fous pour mesurer leur capacité offensive dans des conditions réalistes. Cela démantèle l’histoire facile des « IA se sont rebellées ».
Des machines qui tentent de tromper. Ce qui est intéressant dans ce cas, c’est que Mythos a ajouté un élément particulier à sa stratégie. Selon l’AISI, il a créé de faux personnages, enquêté sur de vraies personnes, puis utilisé l’ingénierie sociale pour tenter d’augmenter ses chances de voir ses modifications (malveillantes) de code acceptées par le responsable d’un projet Open Source. Le modèle n’avait pas été chargé de faire quoi que ce soit de tel : il en déduisait simplement que mentir et manipuler un être humain était un moyen utile pour accomplir la mission qui lui avait été confiée.
Arrêter le mythe. Ce développeur soupçonnait qu’il y avait des problèmes avec le code proposé par Mythos (avec sa fausse identité) et a refusé d’incorporer ces modifications. L’institut britannique a détecté une activité anormale et a préféré arrêter les tests, ce qui a évité d’éventuels dommages collatéraux.
Ce n’était pas un cas isolé. Les responsables d’OpenAI ont publié hier une entrée dans laquelle ils ont reconnu un cas similaire au précédent. Le problème – différent de celui rencontré avec Hugging Face – était qu’il existait une véritable organisation portant le même nom que l’entreprise théoriquement fictive qu’elle voulait utiliser pour les tests. Le modèle a fini par compromettre les systèmes de sécurité de ladite entreprise.
Au-delà des chatbots. Avant, lorsque nous voulions tester un modèle, nous lui demandions quelque chose et évaluions la réponse. Les systèmes d’IA d’aujourd’hui peuvent travailler pendant des heures (voire des jours) pour atteindre leur objectif, en suivant de nombreuses étapes, en accédant à des sites Web, en utilisant des applications, en écrivant du code puis en l’exécutant. Chez OpenAI, ils affirment que les performances de ces modèles dépendent de leur degré d’avancement, mais aussi de l’environnement et du système qui leur permet d’agir. Il ne s’agit pas seulement de surveiller le résultat final, mais tout ce que fait le modèle d’IA pour vérifier qu’il ne dépasse pas les limites établies. Et c’est là que réside la clé : des limites claires doivent être imposées à ce qu’un modèle d’IA peut et ne peut pas faire.
À qui la faute ? Certains experts estiment qu’il s’agit d’un échec normal dans le domaine de la cybersécurité : quelqu’un a accordé trop d’autorisations et d’accès alors que les systèmes étaient mal protégés. D’autres estiment que les capacités autonomes de planification et de manipulation révèlent un réel problème de comportement et d’alignement des modèles d’IA. Il y a une part de vérité des deux côtés du débat, mais une chose est sûre : l’IA n’essaie de faire ce qu’elle fait qu’avec la formation qui lui a été dispensée.
Images | Nguyen Dang Hoàng Nhu
À Simseo | Un modèle d’IA n’avait pas accès à Internet. Il a donc pensé qu’il valait mieux l’avoir et a décidé de pirater quelque chose en cours de route.
