Gemini 3.8 Flash : benchmarks, prix et lecture technique

Zéro centime d’écart sur la grille tarifaire et un score qui se rapproche de Claude Opus 5 sur trois benchmarks : Google présente ainsi Gemini 3.8 Flash, le troisième modèle de la gamme Flash en six semaines, sorti le 2 septembre au prix de 0,75 dollars le million de tokens en entrée et 3,75 en sortie, identique au prédécesseur 3.7 Flash apparu à peine trois semaines plus tôt.

La rédaction en a rendu compte dans un article de presse, nous entrons ici dans la partie technique.

Sur les benchmarks publiés par l’entreprise, le modèle se rapproche voire dépasse le Claude Opus 5, le vaisseau amiral d’Anthropic qui coûte sept fois plus cher en entrée.

Trois faits, tous publics et tous dans les documents techniques de Google, changent cependant l’interprétation pour ceux qui doivent décider s’il faut l’intégrer dans un véritable workflow :

• la fiche modèle admet qu’il ne s’agit pas d’un nouveau modèle mais du même qu’avant, entraîné de manière plus approfondie,
• des données indépendantes de l’analyse artificielle montrent que la consommation de jetons est presque le double de la médiane de sa fourchette,
• la remise de lancement a une date d’expiration spécifique, le 1er janvier 2027.

Trois lancements Flash en six semaines : prix expirant en janvier

Gemini 3.8 Flash est la troisième version de la famille Flash depuis la mi-juillet : d’abord la 3.6, puis la 3.7 le 12 août, maintenant celle-ci. Un rythme qu’aucun autre laboratoire ne suit, et qui signale une stratégie précise : maintenir le niveau Flash toujours à jour tandis que le produit phare Pro reste stationnaire. L’annonce apporte deux modèles, pas un : le Flash 3.8 standard, accessible à tous via l’API Gemini, Google AI Studio, Android Studio et Google Antigravity où il est déjà le modèle par défaut, et le Flash Cyber ​​3.8, réservé à un programme à accès restreint qui méritera une section à part plus tard.

Le prix reste à 0,75 dollars par million de jetons d’entrée et 3,75 jetons de sortie, en promotion jusqu’au 31 décembre 2026. À partir du 1er janvier 2027, il double, 1,50 et 7,50. Celui qui évalue un budget 2027 sur ces chiffres de lancement travaille sur un chiffre qui disparaîtra dans quatre mois, un détail qui dans les gros titres de l’actualité a presque toujours disparu avec l’astérisque qui l’accompagne dans le texte officiel.

Les benchmarks que Google a choisi de montrer

Le tableau que Google place au centre de l’annonce compare 3.8 Flash avec son prédécesseur et avec trois concurrents directs, Claude Opus 5, GPT-5.6 Sol et GPT-5.6 Terra. Les principaux chiffres :

Repères	Gémeaux 3.8 Flash	Gémeaux 3.7 Flash	Claude Opus 5	GPT-5.6 Sol
Vérifié HLE	54,9%	53,6%	54,4%	54,5%
Vals Finance Agent v2	61,4%	59,0%	58,6%	53,8%
Référence des agents juridiques Harvey	10,0%	8,8%	6,7%	2,5%
DeepSWE v1.1	71%	65,3%	74%	sd
Banc de terminaux 2.1	89,4%	85,8%	89,1%	88,8%
Banc de terminaux 4.0	19,1%	sd	51,8%	sd

Deux lignes du tableau méritent d’être examinées de plus près. Sur Référence des agents juridiques de Harvey’sle test sur les tâches juridiques agentiques, le meilleur score du classement est de 10% : aucun modèle ne passe la passe, et 3.8 Flash gagne en battant les autres de quelques points sur une tâche qu’ils échouent tous.

Sur Vérifié HLEle test de raisonnement en plusieurs étapes le plus cité de l’industrie, l’écart avec Claude Opus 5 est d’un demi-point de pourcentage, une parité substantielle déclarée à un prix qui n’est qu’une fraction de celui du modèle Anthropic.

Sur Banc de terminaux 2.1 le nouveau Flash est en avance sur l’Opus 5 et le GPT-5.6 Sol, bien que d’un faible point de pourcentage.

Une ligne dans la fiche modèle change la lecture : ce n’est pas un nouveau modèle

Il y a une phrase qui apparaît quatre fois dans la documentation technique de 3.8 Flash, dans les sections Architecture, Training Dataset, Matériel, Logiciels et Politiques de sécurité, et qu’aucun des communiqués de presse n’a reprise : la fiche modèle déclare « Gemini 3.8 Flash est basé sur Gemini 3.7 Flash », Gemini 3.8 Flash est basé sur Gemini 3.7 Flash. Pas une nouvelle formation à partir de zéro, pas une nouvelle architecture, mais le même modèle de base soumis à un cycle de formation complémentaire axé sur le codage et le raisonnement agent.

Une fois que vous avez lu cette ligne, le reste de l’annonce cesse de surprendre. Cela explique le rythme de trois sorties en six semaines, impossible pour un modèle formé de toutes pièces. Cela explique pourquoi le prix n’a pas bougé d’un centime. Et cela explique un choix qui apparaît plus tard dans la fiche modèle : l’absence d’une nouvelle évaluation complète du Cadre de sécurité aux frontières.

Google déclare qu’en l’absence de nouvelles fonctionnalités significatives, les résultats de l’évaluation sur Flash 3.7 restent valables pour la version 3.8. Une inférence logique plutôt qu’une mesure, et dans un document de sécurité, la différence entre les deux n’est pas cosmétique.

Toujours dans la fiche modèle, Google admet un fait qui apparaît rarement dans une version de lancement : la sécurité multilingue est légèrement moins bonne que celle de Flash 3.7, et il en va de même pour les refus injustifiés, cas dans lesquels le modèle refuse une réponse légitime. Ceux qui distribuent le modèle en dehors des contextes anglo-saxons feraient bien de le tester avant de remplacer en gros la version précédente.

Le décompte symbolique : 120 millions contre une médiane de 71

La carte modèle de Google explique d’où viennent les améliorations : 3.8 Flash « travaille plus dur », effectue des étapes de raisonnement supplémentaires et invoque les outils de manière itérative, consommant plus de jetons pour maximiser la qualité du résultat, en particulier à des niveaux d’effort plus élevés. Il s’agit d’un choix de conception manifeste et non d’un défaut caché. Google lui-même conseille aux développeurs recherchant l’efficacité du calcul de s’en tenir à la version 3.7 Flash, qui reste entièrement prise en charge pour les charges de travail où le coût de calcul compte plus que la qualité absolue.

Un constructeur recommandant de continuer à utiliser le modèle précédent dans sa déclaration de lancement n’arrive pas souvent, et cela vaut la peine de le prendre au sérieux.

Les chiffres d’Artificial Analysis, qui teste les modèles de manière indépendante sur son Intelligence Index de neuf références, quantifient ce que signifie travailler plus dur en termes de facture finale.

3.8 Flash obtient un score de 59, 16ème sur 195 modèles testés, bien au-dessus de la médiane de la classe qui est de 36. En termes de vitesse, il est premier au classement général, 304,6 jetons produits par seconde. Mais en termes de verbiage, il est 73ème sur 195 : pour compléter l’ensemble de l’indice, il a généré 120 millions de jetons de sortie, contre une médiane de 71 millions, soit presque le double. L’exécution de l’intégralité du benchmark sur ce modèle a coûté 825,83 $.

Ensuite, il y a un chiffre qu’aucun communiqué ne mentionne jamais, le temps du premier jeton : 13,39 secondes, contre une médiane de 3,02. Troisième modèle le plus rapide au monde en termes de débit une fois qu’il commence à écrire, et en même temps l’un des plus lents à démarrer, car il réfléchit en premier. La différence compte beaucoup selon l’utilisation : dans un travail d’agent qui s’exécute pendant des heures sur un référentiel, le débit gagne et les treize secondes d’attente initiale ne sont pas pertinentes, dans un assistant qu’un client attend devant un chat, ces treize secondes constituent toute l’expérience utilisateur.

Là où le modèle s’effondre : Terminal-bench 4.0

La ligne que Google ne met pas dans sa table de lancement, et que les développeurs ont trouvée en fouillant dans les données publiques tierces, concerne Banc de terminaux 4.0le successeur le plus strict du benchmark agent sur lequel 3.8 Flash excelle en version 2.1.

Ici, l’écart avec Claude Opus 5 est énorme, 19,1% contre 51,8%, l’écart le plus important de toutes les comparaisons disponibles. Un modèle qui gagne clairement sur la version la plus simple du test et s’effondre sur la version la plus complexe renseigne sur les limites de l’itération par rapport à un véritable saut architectural.

Sur le forum Hacker News, où l’annonce a généré une discussion sur plusieurs centaines de points dans les premières heures, les développeurs qui avaient déjà testé le modèle sur du travail réel ont rapporté des expériences contrastées : ceux qui le trouvent utile pour des audits croisés, leur faisant vérifier le travail d’un modèle plus cher avant de l’implémenter, et ceux qui le jugent peu utile pour l’ingénierie logicielle réelle, avec une consommation de jetons plus élevée que les modèles plus chers sur des tâches simples.

Plus d’un commentaire a également souligné que DeepSWEle benchmark sur lequel Google fait le plus net bond, est désormais un domaine que tous les laboratoires ont appris à optimiser, et sa capacité à discriminer les modèles a été réduite.

Gemini 3.8 Flash Cyber, la partie que personne n’a dite

Tandis que la presse se concentrait sur le modèle standard, Google lançait simultanément Gemini 3.8 Flash Cyber, formé spécifiquement à la découverte des vulnérabilités et à l’application automatique de correctifs, réservé à un groupe limité de défenseurs via le nouveau programme Fairwind, ouvert aux agences gouvernementales de confiance, aux opérateurs d’infrastructures critiques et aux mainteneurs de logiciels open source sur demande. Les retours indépendants confirment les chiffres les plus surprenants de toute l’annonce.

Les chiffres ici sont plus intéressants que ceux du modèle généraliste.

Sur CyberGymla référence standard de l’industrie pour la découverte autonome de vulnérabilités, 3.8 Flash Cyber ​​​​​​surpasse à la fois son prédécesseur 3.5 Cyber ​​​​​​et les modèles Frontier beaucoup plus grands.

Sur un benchmark interne couvrant 20 langages de programmation le taux de réussite dépasse les 70 %.

Sur CWE-Bench, le benchmark de patching externe géré par Collinear, le modèle se positionne sur la frontière de Pareto, un pass@1 de 47,2% contre 47,8% pour un modèle frontière leader, à un coût nettement inférieur.

Concernant l’usage interne au sein de Google, les résultats sont encore plus clairs.

L’équipe de sécurité Chrome a mesuré 2,6 fois plus de correctifs efficaces que les modèles commerciaux beaucoup plus volumineux. Wiz a signalé un rappel de 7,5 à 9,7 pour cent plus élevé sur son benchmark interne de tests d’intrusion, à un coût 2,3 à 5,2 fois inférieur à celui des modèles frontières concurrents.

L’équipe de recherche sur les vulnérabilités du cloud de Google a utilisé le modèle pour trouver une vulnérabilité critique en moins de deux heures, un travail qui prend normalement des mois. C’est la démonstration la plus concrète de toute l’annonce, et elle a atteint la plus petite partie du public : ceux qui peuvent réellement l’utiliser.

Le compte à rebours jusqu’en janvier : que mettre dans le cahier des charges

Pour ceux qui doivent choisir d’intégrer ou non 3.8 Flash dans un flux de production, les données collectées jusqu’à présent constituent un critère plus utile que la note globale du benchmark. Il vaut mieux passer au nouveau modèle si la charge de travail est longue et pérenne, avec une recherche ou un traitement de documents en plusieurs étapes où la qualité du résultat pèse plus que le nombre de tokens consommés : ici l’avantage est réel et Google le déclare explicitement.

Il est plus logique de s’en tenir à Flash 3.7 si la charge est à volume élevé, à faible latence et interactive : ici, la verbosité de 3.8 et le délai de treize secondes pour obtenir le premier jeton deviennent un coût, pas un avantage.

Ceux qui travaillent déjà dans Google Antigravity sont peut-être passés au nouveau modèle sans l’avoir choisi, car c’est immédiatement l’environnement par défaut. Il vaut la peine de vérifier les coûts du mois en cours avant de supposer que la facture restera comme prévu. Et ceux qui servent des utilisateurs non anglophones feraient bien de tester par régression la sécurité multilingue déclarée dans la carte modèle avant de remplacer en gros la version précédente en production.

La contrainte que personne ne peut ignorer est la date. Le prix de lancement, 0,75 et 3,75 dollars, reste valable jusqu’au 31 décembre 2026, puis double par contrat. Une spécification qui fixe le coût actuel par jeton comme base d’un projet pluriannuel parie sur un chiffre que Google lui-même a déjà annoncé qu’il modifierait dans quatre mois. Une question plus précise de savoir quel modèle est globalement le meilleur mérite une place dans le prochain comité technique : quelle partie de votre portefeuille de charges de travail justifie le profil de coût réel de 3,8 Flash, celui mesuré en jetons réellement consommés, et non celui écrit dans la liste de prix.