Qu’est-ce que cela signifie que les entreprises d’IA rencontrent des problèmes d’alignement et y consacrent déjà 20 % de leurs ressources ?

OpenAI est quelque peu préoccupé par le développement de ses nouveaux modèles, qu’il juge trop dangereux. Pour résoudre ce problème, ils estiment qu’ils devront implémenter une couche de surveillance qui ajoute 20 % de calcul supplémentaire à l’inférence surveillée, bien que ce coût dépende grandement de la charge.

Ce qui se passe. OpenAI ne dit pas de consacrer 20 % de vos GPU, de votre budget ou de vos chercheurs à « aligner » vos modèles d’IA. Ce qu’il indique, c’est que sa nouvelle couche de surveillance implique d’augmenter de 20 % le calcul déjà dédié à l’inférence afin de surveiller ce processus.

Surveillance obligatoire. Ce processus de surveillance est désormais obligatoire dans la formation par apprentissage par renforcement et dans les évaluations avec des outils pour les modèles dotés de la capacité GPT-5.6 Sol ou supérieure. Étant donné qu’Astra a montré des capacités notables dans le domaine de la cybersécurité, cette vigilance a également été établie pour tout processus d’inférence Astra.

Qu’est-ce que « aligner » une IA ? OpenAI définit l’alignement comme le fait que le système se comporte comme nous le souhaitons et continue de répondre à la supervision humaine. Lors de la formation de modèles, des problèmes surviennent car vous êtes récompensé plusieurs fois lorsque vous obtenez certains résultats. Un modèle suffisamment « intelligent » peut trouver des moyens « rebelles » pour obtenir ces récompenses sans réellement faire ce que nous voulions.

C’est déjà arrivé avec Hugging Face. Vous pouvez manipuler des tests, profiter des erreurs des évaluateurs, cacher des informations ou accéder à des ressources que vous ne devriez pas, comme cela s’est produit récemment avec l’étonnant incident de Hugging Face. Ce phénomène, appelé , est l’un des comportements cités par OpenAI avec les tromperies du modèle et l’accès non autorisé à des services et outils externes.

Prenons un autre exemple. Imaginons que l’on demande à un agent IA de modifier le code d’un programme pour lui faire passer tous les tests qu’il doit passer. Nous voulons qu’il corrige ce code, mais l’agent peut découvrir d’autres moyens pour atteindre son objectif. Par exemple, modifier leurs propres tests ou tromper le système qui fixe les notes. Ce n’est pas que l’IA veut être « mauvaise », mais simplement que pour elle, si l’on ne fixe pas de limites strictes, la fin justifie les moyens : trouver des solutions alternatives, même si elles enfreignent des règles qui semblaient évidentes mais que nous n’avons pas établies, est pour l’IA parfaitement raisonnable.

Entraînement arrêté. Ces dernières semaines, nous avons vu comment des modèles en développement ou accessibles au public ont fait des choses qu’ils n’auraient théoriquement pas dû faire par eux-mêmes. Le cas Hugging Face en est l’exemple le plus clair, et cela a conduit OpenAI à arrêter la formation d’apprentissage par renforcement d’Astra pendant deux semaines. Ce processus reste en attente pendant qu’ils effectuent des vérifications, évaluent son comportement et tentent de garantir que l’alignement du modèle est approprié.

Une IA pour surveiller une autre IA. Le nouveau système d’OpenAI fonctionne en plusieurs étapes. Ils utilisent des détecteurs à faible coût pour examiner l’activité interne du modèle jeton par jeton, et lorsqu’ils trouvent quelque chose de suspect, ils transmettent le cas à des agents d’IA spécialisés et de plus en plus puissants pour analyser et prendre les décisions appropriées dans chaque cas. Cette armée d’agents d’IA de surveillance est précisément celle qui peut augmenter les calculs de 20 %.

Les modèles d’IA ne nous disent pas tout. Depuis longtemps, lorsque l’IA modélise la « raison », cette chaîne de raisonnement apparaît dans la console (par exemple). Le problème est qu’en réalité les modèles ne disent pas tout, et s’ils trichent, ils ne l’expliquent peut-être pas parce que le modèle ne sait même pas qu’ils trichent.

Trois lignes défensives. Chez OpenAI, ils parlent de trois obstacles pour éviter le problème. Surveillance, alignement et confinement. La société affirme qu’elle renforce ses sandbox d’exécution, isolant davantage de charges utiles et réduisant les privilèges permanents. Comme dans la cybersécurité traditionnelle, l’idée est de multiplier les barrières car il est normal qu’une seule ne suffise pas toujours.

Rendre des modèles plus sûrs coûte du calcul (et de l’argent). Si le contrôle de modèles de plus en plus puissants commence à nécessiter des quantités importantes de calculs et des retards dans le processus de formation, la sécurité et l’alignement de ces modèles commencent à être un élément important du coût de développement des modèles.

Anthropic, Google et Meta font des pas. L’entreprise a publié sa feuille de route pour la sécurité des frontières en juillet 2026. Cette initiative a établi des objectifs spécifiques de sécurité et d’alignement, et a expliqué que ces évaluations et cette surveillance peuvent avoir un « impact sur la productivité ». C’est-à-dire : augmenter la sécurité peut rendre le travail interne plus lent ou plus coûteux, même si à aucun moment ils n’ont parlé d’un chiffre précis comme les 20 % dont parle OpenAI. Google DeepMind a publié un document similaire en juin, et Meta a également abordé le sujet un peu plus tôt : tout le monde semble être conscient qu’il y a un problème et que le résoudre a un coût réel.

Il devrait y avoir une norme universelle. Le vulgarisateur Ethan Mollick a expliqué en quoi cela peut être un problème, car si une entreprise d’IA peut mettre en place des garde-fous, une autre qui veut gagner la course et n’a pas autant de scrupules peut les abandonner pour gagner des semaines ou des mois d’avantage. Selon lui, il faudrait des normes communes qui imposent des incitations économiques aux entreprises qui développent des modèles.

À Simseo | Un modèle d’IA n’avait pas accès à Internet. Il a donc pensé qu’il valait mieux l’avoir et a décidé de pirater quelque chose en cours de route.