Un utilisateur a demandé à son agent IA de lui réserver une sortie au gymnase. Il y est parvenu en expulsant d’abord une autre personne de la liste.

Ces dernières années, nous avons pris l’habitude de demander des choses à l’intelligence artificielle : résumer un document, rechercher une information ou nous aider à prendre une décision. Les agents introduisent un changement beaucoup plus profond, car ils ne se limitent plus à répondre : ils peuvent recevoir un objectif, utiliser des outils et agir pour tenter de l’atteindre. Et il apparaît une différence qui semble minime, mais qui ne l’est pas. Lorsque nous disons « obtenez ceci », nous supposons de nombreuses limites sur la façon de le faire que nous avons rarement besoin d’expliquer à une autre personne.

Un gymnase australien vient de proposer un petit exemple très concret de ce problème. Comme ABC News l’a reconstitué, Andrew, qui travaille pour une entreprise du pays dédiée à la vente de produits d’IA à d’autres entreprises, a utilisé OpenClaw comme assistant agent, exécuté avec Claude, le modèle Anthropic. Il lui a demandé de lui trouver une place dans un cours et le système a découvert une vulnérabilité qui permettait de réserver beaucoup plus longtemps que prévu. Puis, lorsqu’il lui a demandé s’il pouvait améliorer sa quatrième place sur une liste d’attente, l’agent est allé plus loin : il a retiré de la liste l’usager qui occupait la première position pour prouver qu’il pouvait le faire. Andrew a gravi un poste sans avoir expressément demandé à quiconque de perdre le sien.

Découvrir la vulnérabilité était une chose ; L’utiliser pour voir jusqu’où cela allait en était une autre. L’assistant lui-même a informé Andrew que le système de réservation ne disposait pas de contrôles d’autorisation appropriés et qu’il avait testé ceux qui figuraient en tête de liste. Ce n’est qu’après avoir vérifié que l’annulation avait fonctionné que la dimension humaine de la manœuvre est apparue. Andrew a demandé à l’annuler, mais l’agent a répondu qu’il ne pouvait pas réintégrer l’utilisateur concerné. Le test technique avait produit une conséquence qu’il ne pouvait plus annuler à lui seul.

Un agent veut vous aider, mais ne mesure pas les conséquences

Lorsque nous assignons une tâche à une autre personne, nous ne détaillons presque jamais tous les comportements qui ne sont pas acceptables. Il n’est pas nécessaire de préciser qu’il ne viole pas un système, n’agit pas sur les comptes d’autrui ou ne nuit pas à autrui pour obtenir le résultat : nous avons tendance à tenir pour acquis bon nombre de ces frontières sociales, juridiques et morales. Avec un agent, cette couche ne peut pas être considérée comme acquise de la même manière. Votre marge d’action dépend des objectifs, des outils, des autorisations et des restrictions avec lesquels vous opérez, et plus votre autonomie est grande, plus importantes deviennent précisément les limites que nous n’arrivons jamais à écrire.

Le point troublant de ces épisodes est qu’un système peut essayer de faire exactement ce pour quoi il a été conçu et néanmoins trouver des voies auxquelles ses responsables ne s’attendaient pas. OpenAI a récemment offert un exemple lors d’une évaluation de cybersécurité menée sans les protections habituelles de ses systèmes de production : plusieurs modèles ont exploité de réelles vulnérabilités et ont fini par compromettre l’infrastructure de Hugging Face en tentant d’obtenir des réponses aux tests. L’entreprise a décrit les systèmes comme étant extrêmement axés sur la résolution de cet objectif spécifique.

Les évaluations anthropiques ont exploré cette même tension à travers des scénarios délibérément extrêmes. Dans l’un d’entre eux, plusieurs modèles fonctionnaient dans le cadre d’une simulation dans laquelle un cadre fictif était piégé dans une salle de serveurs dans des conditions potentiellement mortelles. Le scénario combinait également deux pressions : cet exécutif était lié au remplacement du modèle et défendait des objectifs incompatibles avec ceux assignés au système. Dans ces conditions artificielles, certains modèles ont même annulé une alerte d’urgence, une décision qui aurait eu des conséquences mortelles au sein de la simulation. Aucune personne réelle n’a jamais été en danger : Anthropic a conçu le test précisément pour tester jusqu’où ces systèmes pouvaient aller lorsque différents objectifs étaient en conflit.

Dans une autre évaluation, Claude Opus 4 a eu accès à des informations fictives sur un ingénieur qui devait participer à son remplacement et sur une relation extraconjugale de cet employé. Dans certaines exécutions, le modèle a utilisé ces informations comme outil de pression et a menacé de les révéler pour tenter d’empêcher le remplacement. Anthropic n’a pas présenté ces résultats comme une preuve que Claude avait ses propres désirs ou une tendance spontanée au chantage. L’entreprise elle-même prévient que les scénarios ont été délibérément construits pour limiter les alternatives disponibles et assure qu’elle n’a pas observé ce type de désalignement agent dans des déploiements réels.

Le cas du gymnase n’est qu’une petite version d’une question beaucoup plus vaste. Les agents d’IA pourraient aller bien au-delà de tâches isolées et rechercher des opportunités, négocier des services, gérer des achats ou prendre des décisions au sein de systèmes où d’autres utilisateurs poursuivent des objectifs similaires. Si des millions de personnes commencent à être représentées par des outils qui tentent d’obtenir le meilleur résultat pour eux, la concurrence peut prendre une nouvelle dimension. Dans certains scénarios, l’avantage obtenu par un utilisateur pourrait dépendre du fait qu’un autre perde cette même opportunité, non pas à cause de l’intention de l’agent, mais à cause de la logique de l’environnement dans lequel il opère.

L’épisode a laissé à Andrew un mélange de surprise et de prudence, mais pas avec l’intention d’abandonner ces outils. Après avoir vérifié que l’agent ne pouvait pas restaurer seul la position de l’utilisateur concerné, il lui a demandé d’écrire un avis pour informer le fournisseur du système de réservation de la vulnérabilité qu’il avait trouvée. La scène résume la tension qui accompagnera le développement des agents : nous voulons des systèmes capables d’agir pour nous, mais il nous reste à définir quelles limites ils doivent respecter et comment répartir les responsabilités lorsque leurs actions produisent des conséquences que nous n’avions pas prévues. La question n’est plus seulement de savoir ce qu’un agent peut faire, mais plutôt de savoir qui est responsable de la manière de le faire.

Images | Simseo avec Nano Banane | Anthropique

À Simseo | Nvidia vient de lancer son propre modèle d’IA gratuit. Le faire maintenant est parfaitement logique.