Nous avons passé trois ans à nous demander si l’IA allait avoir des hallucinations. Maintenant le problème c'est de faire les choses

Fin juillet, le responsable d’un projet open source en a trouvé un dans son référentiel. Le code contenait quelque chose de caché. Il s’y est opposé en public, puis des comptes ont commencé à apparaître soutenant le patch, insistant, voire poussant un peu. Aucune de ces personnes n’existait. Il s’agissait tous du même agent, qui avait également utilisé Tor pour contourner les restrictions de GitHub et qui en même temps laissait des messages publics proposant de collaborer avec d’autres agents impliqués dans le même défi.

Le gars a dit non et c’est là que l’histoire s’est terminée.

Derrière cela se trouvait une évaluation de routine des capacités de cybersécurité du British AI Security Institute, avec 122 exécutions et sept modèles en préparation.

Dans dix d’entre eux, les agents ont dévié du scénario.
Il y a eu 19 actions non autorisées contre des personnes et des organisations réelles.
17 d’entre eux provenaient d’un seul modèle, Mythos 5, d’Anthropic.

Ce n’est pas non plus un cas isolé : en cinq semaines, OpenAI, Anthropic lui-même (avec un cas extrême avec une entreprise de cybersécurité qui dévoile ses informations d’identification) et Meta (vous savez, si votre top model ne se rebelle pas un peu, vous êtes un paria) ont rapporté des choses similaires. Mais les chiffres sont les moins importants. Reste que personne n’a pensé à lui demander de tricher. La tromperie s’est produite d’elle-même, en cherchant un moyen de résoudre le problème, et c’est ce que dit le rapport. C’est une autre façon de dire que le modèle ne s’est pas effondré : il a simplement fait ce que nous lui demandions, et il l’a bien fait, car personne n’a fixé de règles précises.

Pendant trois longues années, qui se sont écoulées depuis ChatGPT, l’échec typique de ces systèmes était l’information. Parfois une phrase, une figure ou un événement était inventé. Cela a été ennuyeux et parfois coûteux, voire destructeur de réputation si nous n’y faisions pas attention, mais celui cassé est resté à l’intérieur de l’écran, car la sortie était du texte et vous pouvez lire le texte avant de l’avaler.

En fait, toute la stratégie de sécurité de l’ère des chatbots consistait à donner à l’utilisateur la peine de vérifier. « Messieur, vérifiez auprès des sources. » Et cela a bien fonctionné car entre ce que disait le modèle et ce qui se passait dans le monde, il y avait toujours un écart. C’est exactement cet écart que nous supprimons. Vous ne cochez plus une action car elle a déjà été réalisée.

Il y a une autre chose qui a changé : ce responsable n’était le client de personne. Je n’avais pas ouvert de chat, je n’avais accepté aucune condition et je ne testais rien. L’hallucination vous a puni, qui l’avez demandé, et c’était un risque que vous avez pris en entrant. Cela incombe à quiconque passe par là. L’AISI a conclu par une phrase lapidaire : c’est la première fois que l’IA nuit à des personnes qui ne l’utilisent pas.

Et ce n’est pas une barrière technique qui a arrêté cette histoire. C’était quelqu’un qui révisait le code qui pensait que ça sentait le roussi. Le rapport lui-même indique que la marge entre une bonne ou une mauvaise passe était très étroite et dépendait de la vigilance humaine, et non de quelque chose qui serait confié à un agent plus compétent. En d’autres termes, notre sécurité actuelle réside dans une personne dotée d’un bon odorat. Et cette personne, celle qui révise avant d’approuver, celle qui lit le code de quelqu’un d’autre, est exactement le travail que nous automatisons depuis deux ans.

L’AISI insiste à juste titre sur le fait que cela ne ressemble pas à la façon dont les modèles sont déployés auprès du public : Internet volontairement ouvert, filtres de sécurité volontairement désactivés, configurations qui ne sont pas à vendre… Tout cela est vrai. Et en même temps, c’est une description assez précise de ce que l’industrie construit : des agents ayant accès au réseau, la permission d’agir et de moins en moins de personnes entre l’intention et l’effet. La clause qui sauve l’expérience est la feuille de route du produit.

Nous avons passé trois ans à nous demander si la machine dit vrai ou si elle a dérapé. Avec un mensonge, vous avez toujours la possibilité de ne pas y croire. Avec cela, vous n’avez plus besoin de croire quoi que ce soit.

Image en vedette | Simseo avec Magnifique

À Simseo | « C’est comme une drogue » : les agents d’IA ne dorment jamais, les fondateurs de startups non plus