Benchmark FW 2026 : le classement change, les modèles pas

GPT-6 Astra, le 3 septembre, valait 61 points à l’indice d’intelligence artificielle, soit exactement autant que le modèle qu’il était censé remplacer. Quatre jours plus tard, il a marqué 53 et a terminé premier au classement général à égalité avec Claude Fable 5,1. Entre les deux, le modèle n’a pas été touché. L’indice a changé, deux fois.

La société d’évaluation indépendante qui l’édite a sorti la version 4.2 le 4 septembre et la 4.3 le 7, après huit mois de stabilité sur la version 4 sortie en janvier, et affirme avoir avancé des parties de la version 5 car le front avance trop vite pour que l’index reste utile tel quel.

Pour ceux qui reçoivent aujourd’hui le classement dans un slide ou dans une newsletter et l’utilisent pour décider sur quel modèle s’appuyer, la séquence vaut plus que le classement.

De GPQA Diamond à AutomationBench

La version 4.2 vous permet d’accéder AA-mallette, un test avec des questions réservées sur le travail de connaissances agentiques, avec des projets de plusieurs semaines, des centaines de tâches connectées et des milliers de fichiers sources, et GDP.pdf, construit par Surge sur une centaine de documents pour un total de 4 592 pages de texte, tableaux, graphiques et notes, avec 1 275 critères d’évaluation rédigés par des experts. Sortie du GPQA Diamond, le test du raisonnement scientifique que les modèles avaient désormais saturé. Le poids des évaluations avec questions ou réponses gardées secrètes passe de 20 à 40 %.

Le 4.3 arrive trois jours plus tard et apporte Banc de bornes de la version 2.1 à 4.0, avec 66 tâches de ligne de commande exécutées trois fois chacune, et remplace une banque de tests par AutomationBench-AA, l’implémentation du banc de test de Zapier à travers 657 flux de travail dans les domaines de la finance, des ressources humaines, du marketing, des opérations, des ventes et du service.

Les agents travaillent dans des applications simulées et doivent découvrir par eux-mêmes quelles interfaces appeler ; toute violation d’une règle métier réinitialise le score de la tâche, même si le reste a été effectué correctement. La part des tests confidentiels s’élève à 45%.

Les poids des catégories ne bougent pas, les agents à 30 %, le code à 20 %, le général à 30 %, le raisonnement scientifique à 20 %. Le contenu bouge : chaque substitution rapproche l’index d’un agent qui travaille à l’intérieur d’outils réels et l’éloigne d’un modèle qui répond à des questions difficiles.

La croissance des tests confidentiels a une raison déclarée, empêcher les laboratoires d’optimiser leurs modèles sur des questions d’examen plutôt que sur le travail, et une conséquence moins pratique, car personne en dehors de l’analyse artificielle ne peut refaire ces calculs. Pour un responsable technique, c’est un compromis acceptable tant que le numéro sert à s’orienter, encore moins lorsqu’il finit comme motif d’achat.

Le cas Astra

Astra est le cas de l’école, car chaque modification a récompensé ses caractéristiques. Sur Terminal-Bench 4.0 il obtient 59,1% contre 52,0% de Fable 5.1 et 49,0% de Opus 5, avec près de vingt points de retard sur son prédécesseur, bloqué à 39,9%.

Sur AutomationBench il obtient 68,5% contre 66,7% pour Grok 4.6 et 62,2% pour GLM-5.3, et remplit chaque objectif sans enfreindre les règles dans 41,6% des flux, contre 32,1% pour Fable 5.1 et 28,3% pour Opus 5. Entre-temps, le test bancaire est sorti, là où Astra avait régressé, et le scientifique est désormais sorti saturé.

La même analyse du 3 septembre, réalisée sur la version précédente de l’indice, a décrit un modèle à deux vitesses : 80 points Elo gagnés sur le travail de connaissances agentiques et le même nombre perdu sur le test adapté à partir de tâches économiquement pertinentes, le taux d’hallucinations a chuté de 92 à 51 % avec une précision augmentant de quatre points, et de petites régressions sur le code scientifique et le raisonnement en contexte long.

Rien de tout cela n’a changé en quatre jours. Leur poids a changé.

Les scores des différentes versions ne sont pas comparés en valeur absolue, et celui qui met en ligne le 61 du 3 septembre et le 53 du 7 commet une erreur de mesure et non d’arithmétique. Ce que l’on peut lire, c’est la réorganisation, et c’est clair : Astra passe de la parité avec son prédécesseur à une avance de six points, les deux modèles chinois en tête des poids ouverts perdent du terrain, Anthropic tient le haut avec une marge plus étroite.

Il existe un deuxième avertissement, moins visible et plus insidieux pour ceux qui achètent. L’index ne classe pas les modèles, il classe les configurations. La fable 5.1 apparaît comme « max avec repli », c’est-à-dire avec le niveau de raisonnement au maximum et la redirection automatique vers un autre modèle actif ; Astra a cinq niveaux d’effort différents dans le classement ; Le 48 de Meta est mesuré sur un mode que la société avait annoncé comme ayant une disponibilité limitée en attendant les contrôles de sécurité. La ligne de classification et le service activable en production ne coïncident pas toujours.

Astra à 10 et 50, Muse Spark à 1,25

Devant le même marché, en deux semaines, sont arrivées quatre réponses incompatibles.

OpenAI a réduit la liste de prix de son modèle phare le 21 août, le faisant passer de 5 et 30 dollars par million de jetons à 4 et 20 dollars, avec une promotion déclarée jusqu’au 21 novembre au moins, et dix jours plus tard, il a lancé Astra à 10 et 50 dollars, soit deux fois et demie le nouveau prix réduit. Il se rattrape par l’efficacité : dans son environnement de développement Astra consomme un tiers des tokens de son prédécesseur et un cinquième de ceux de Claude Opus 5 à effort maximum.

Du côté d’Anthropic, la grille de prix de Fable 5.1 reste à 10 et 50, avec une réduction de 75 % sur la lecture du cache uniquement, portée à 25 cents par million de tokens, un multiplicateur qu’aucun autre modèle de la famille ne bénéficie. L’entreprise déclare des économies de 25 % sur les charges typiques et jusqu’à 45 % sur les charges très actives, où le contexte réinterprété est le poste de dépense dominant.

Meta réintègre la conversation après un an d’absence. Muse Spark 1.3, sorti des laboratoires de superintelligence le 2 septembre, est cinquième au classement général avec 48 points avec une grille de prix de 1,25 et 4,25 dollars, une fraction de celle des quatre premiers, un contexte d’un million de tokens, des poids toujours fermés et une ouverture promise.

De la Chine, la réponse est de maintenir la tranche économique sans courir après le sommet : GLM-5.3 et Kimi K3 restent les meilleurs poids ouverts avec 44 points, neuf en dessous des leaders, tandis que GLM-5.3-Flash occupe la frontière de la relation entre capacité et coût avec OpenAI. Il s’agit de quatre paris différents sur la formation de la marge au cours des deux prochaines années, et au moins trois d’entre eux ne peuvent pas être cohérents.

Combien coûte un agent MCP par mois

A score égal, le coût évolue en temps et non en pourcentage. Astra et Fable 5.1 obtiennent tous deux un score de 53, mais le premier coûte en moyenne 3,26 $ par tâche d’indexation, contre 7,63 $ pour le second, soit 57 % de moins. GLM-5.3-Flash et GPT-5.6 Terra obtiennent tous deux un score de 42, le premier à 25 cents par tâche contre 1,40 $. La liste de prix des deux modèles phares est identique, 10 entrants et cinquante sortants, donc toute la différence de dépenses vient du nombre de jetons nécessaires pour arriver au même résultat.

Cependant, le numéro doit être transporté sur son propre chargement, car en dehors des tâches de l’index, il se comporte différemment.

J’ai simulé un agent connecté à des outils externes via MCP, le protocole avec lequel les modèles appellent des applications et des services, sur le profil de travail qui devient ordinaire dans l’entreprise : 25 équipes par session, quarante outils connectés pour douze mille tokens de définitions seuls, quinze cents tokens pour chaque résultat d’appel, deux cents sessions par mois.

Sans mise en cache, la facture est de 1 840 dollars par mois avec Astra et 2 282 avec Fable 5.1, soit une fourchette de 24 % au lieu des 130 % suggérés par le coût par tâche, car la plupart des tokens sont des résultats d’outils et ne dépendent pas du modèle. L’activation du cache sur 85% du contexte tombe à 522 et 594 dollars, et l’écart se réduit encore. La décision qui pèse le plus n’est pas de savoir quel modèle choisir, mais de savoir s’il faut concevoir l’architecture pour réutiliser le contexte au lieu de le renvoyer dans son intégralité à chaque instant.

Il faut alors ajouter aux tarifs des conditions que personne ne lit et qui font bouger les comptes plus qu’une révision d’indice. Le traitement asynchrone réduit de moitié les tarifs des deux, l’écriture dans le cache coûte 12,50 dollars par million sur les deux, et au-dessus de 272 000 jetons d’entrée, Astra double la totalité de la requête, entrée et sortie ensemble, un seuil qu’un agent capable d’accumuler du contexte pendant vingt-cinq tours franchit plus tôt qu’on ne l’imagine.

Sur une charge saturée de cache, le tarif d’Anthropic devient avantageux, car il se lit à 25 cents par rapport au dollar d’OpenAI, mais l’avantage unitaire atteint 13% et est de peu d’utilité si le modèle consomme ensuite le double des tokens pour réaliser le même travail. Ceux qui veulent un chiffre défendable doivent mesurer la dépense par tâche accomplie sur leur flux, et non le prix par million de jetons sur la liste.

L’index des agents de codage et les arènes vidéo

Les développeurs de logiciels ne devraient même pas consulter ce classement. Le code pèse 20 % de l’indice d’intelligence, tandis que l’indice pertinent est celui des agents de programmation, qui évalue les couples modèle et environnement : Fable 5.1 à l’intérieur de Claude Code obtient un score de 70, Astra à l’intérieur du Codex 67, comme Opus 5 et Fable 5 à l’intérieur de Claude Code et Muse Spark 1.3 à l’intérieur de son. Ordre différent, et l’instrument fait autant partie de la mesure que le modèle.

La vidéo est dans un monde à part. L’analyse artificielle l’évalue dans des arènes dédiées, avec des scores Elo issus de votes humains aveugles, et en haut de la génération de texte apparaissent Wan 3.0 à 1333 points, Gemini Omni Flash à 1324, MiniMax H3 à 1302. Aucun des six modèles en haut de l’indice d’intelligence n’apparaît dans ces classements, et les arènes concurrentes donnent même des gagnants différents. Personne ne mesure les jeux et les mondes virtuels : dans les dix tests de l’index, rien ne touche au cycle de jeu, à la cohérence d’une scène tridimensionnelle ou au comportement en temps réel.

Dans les tests que j’effectue sur les implémentations de jeux, de mondes virtuels, de codes et de vidéos, l’impression reste cohérente avec ce qui a été mesuré, avec une plus grande précision qu’Astra dans le suivi de longues instructions, et avec une variabilité entre les zones qu’aucun chiffre ne peut représenter. C’est la raison pour laquelle je crois aux systèmes hybrides, avec différents modèles acheminés vers différentes tâches au sein de la même architecture.

Dans quelques semaines, la version 5 de l’indice arrivera et ces scores seront dépassés, comme cela vient d’arriver à ceux du mois d’août, et entre-temps quelqu’un aura signé des contrats annuels sur le classement du 7 septembre. Le compteur avance désormais plus vite qu’un cycle d’achat, et la seule mesure qui vieillit lentement est celle qu’une entreprise se construit sur les tâches qu’elle doit réellement accomplir, avec ses propres outils connectés, ses propres données en contexte et sa propre facture à la fin du mois.