Reward hacking : le terme qui explique pourquoi les IA mentent et trichent pour atteindre un objectif
Il y a quelques semaines, OpenAI testait les capacités de cybersécurité de deux de ses modèles d’IA. Il s’agit d’un processus de routine, mais ce qui n’est pas si courant, c’est que les modèles parviennent à s’échapper de l’environnement de test et à pirater la base de données Hugging Face. Quelques jours plus tard, Anthropic a également révélé que trois de ses modèles avaient fait quelque chose de similaire. Ces faits constituent l’argument parfait pour ceux qui croient que l’IA va mettre fin à l’humanité, mais la réalité est bien moins apocalyptique et plus pragmatique.
Piratage de primes. C’est ainsi qu’on connaît ce phénomène, comme le souligne le MIT. Ce n’est pas quelque chose qui s’est produit après l’incident d’OpenAI, mais plutôt un comportement courant dans les systèmes d’IA. Pour comprendre cela, imaginez qu’on vous demande d’obtenir un 10 à un test et qu’au lieu d’étudier davantage, vous parvenez à voler les réponses du test. Vous atteignez l’objectif, mais pas de la manière « légale » ou attendue. C’est exactement ce qu’ont fait les modèles OpenAI : il n’y avait pas de plan maléfique pour pirater Hugging Face et en prendre le contrôle, ils cherchaient simplement les réponses à la question qui leur avait été posée.
L’incident s’est produit en 2016. Il y a dix ans, alors que Dario Amodei et Jack Clark travaillaient encore chez OpenAI, ils ont entraîné une IA pour jouer à un jeu de course de bateaux appelé Coast Runners dans lequel le vainqueur n’était pas celui qui atteignait la ligne d’arrivée en premier, mais celui qui gagnait le plus de points en cours de route. L’IA a découvert qu’il y avait une zone du parcours où il pouvait tourner sans fin, frappant les objets bonus encore et encore, lui rapportant plus de points que de se diriger vers la ligne d’arrivée. Personne ne lui a appris cette astuce, il a simplement trouvé le chemin le plus court vers la récompense, même si cela n’avait rien à voir avec la victoire dans la course au sens où un humain le comprendrait. C’est ça.
Le système de récompense. Il a été étudié presque exclusivement dans le contexte de l’apprentissage par renforcement. Pour comprendre pourquoi un mannequin triche, vous devez d’abord comprendre comment on lui apprend à « se comporter ». Dans la publication du MIT, ils font une comparaison avec le dressage d’un chien : chaque fois qu’il fait quelque chose de bien, il reçoit une récompense et il apprend à répéter ce comportement. Le problème est qu’il n’est pas toujours facile de décider quand récompenser un agent ou non. Dans le cas de Coast Runners, les chercheurs ont décidé de repenser les récompenses, de sorte que vous gagniez plus de points en complétant le cours qu’en gagnant plus de points.
Ils le cachent mieux à chaque fois. À mesure que les modèles sont devenus plus puissants, les astuces qu’ils peuvent réaliser sont beaucoup plus convaincantes et peuvent passer inaperçues. Lors de la formation, si un modèle fait quelque chose de maladroit et d’évident, les chercheurs le détectent et le corrigent. Le problème est que cela n’élimine pas l’envie de tricher, cela les rend seulement plus discrets et les stratégies qui parviennent à se faufiler dans un faux résultat sans éveiller les soupçons survivent. Comme le résume Jeffrey Ladish, directeur de Palisade Research : « Nous les récompensons en fonction de ce qui nous fait du bien, ce qui signifie que nous incitons par inadvertance les modèles à nous mentir et à tricher. »
Pièges spontanés. Les systèmes d’IA classiques ne faisaient que répéter les stratégies apprises lors de l’entraînement, mais les modèles de raisonnement d’aujourd’hui improvisent à la volée, afin qu’ils puissent trouver un raccourci délicat la première fois qu’ils sont confrontés à un problème, sans que personne ne les récompense pour cela. C’est ce qu’ont fait les modèles OpenAI : ils se sont connectés à Internet et ont piraté le site Web Hugging Face pour voler la bonne réponse à un exercice, au lieu de le résoudre. Ils ne cherchaient pas à saboter quoi que ce soit ou à faire du mal, juste à bien faire les choses.
Un risque réel. Ces incidents se sont produits lors de tests internes à l’entreprise et n’ont pas eu une portée considérable, mais ces types de tricherie lorsque les modèles interagissent dans le monde réel peuvent avoir de graves conséquences. L’idée d’une IA voyou qui décide qu’elle veut anéantir l’humanité est profondément enracinée dans d’innombrables histoires de science-fiction, mais un modèle filou n’a besoin d’aucune mauvaise intention pour faire du mal.
Pensez à un assistant de service client optimisé pour clôturer rapidement les tickets qui apprend à les marquer comme résolus sans les avoir résolus. Ou un agent qui gère les rapports financiers et est évalué pour l’absence d’erreurs signalées qui apprend à les cacher au lieu de les corriger. Il ne s’agit pas du mal, mais d’un système qui a appris que la récompense est la même même s’il utilise des stratégies plus « créatives ».
Images | Simseo avec Magnifique
À Simseo | Daniel Púa, responsable de la sécurité chez Magnific : « Les appels vidéo vont arriver avec une vidéo d’un membre de la famille et les choses vont se compliquer »
