L’IA était absurdement chère pour la « formation ». Désormais, il s’agira de quelque chose de différent : l’infrastructure

Depuis que ChatGPT est devenu ce qu’il est et que l’IA a commencé à toucher tout le monde, puisqu’avant elle était réservée à la recherche dans différents domaines, un mot nous accompagne : formation. De cette formation, nous savions qu’elle était coûteuse en raison de l’équipement nécessaire pour la réaliser, mais aussi en raison des ressources naturelles et énergétiques qu’elle consomme (ainsi que de toutes les connaissances volées et détruites en cours de route), mais il n’y a pas si longtemps, il semble que nous approchions d’une nouvelle ère de l’IA : celle de l’inférence.

L’une des estimations les plus récentes indique que les dépenses d’infrastructure consacrées à l’inférence en 2026 dépasseront, pour la première fois, celles consacrées à la formation. Et ça ne va pas s’arrêter.

Inférence en plein essor. Un rapport récent publié par Gartner indique que les dépenses mondiales en IaaS optimisées pour l’IA (un sous-segment de l’IaaS dans lequel le fournisseur de cloud propose, à la demande, des ressources de calcul hautes performances conçues pour la formation et l’inférence de modèles d’IA à grande échelle) augmenteront de 96 % cette année, pour atteindre 42 milliards de dollars. C’est 96 % de plus que l’année dernière, et ce qui est intéressant, c’est la manière dont cet argent sera distribué : 23,3 milliards de dollars en inférence contre 19 milliards de dollars en formation.

L’inférence représentera pour la première fois la plus grande part de cet investissement, pesant 55 % du budget IaaS pour cette année. Gartner donne deux autres données. La première est l’estimation selon laquelle le marché de l’optimisation IaaS augmentera en 2027 pour atteindre 66,1 milliards de dollars et, par ailleurs, que ces 42 milliards d’IaaS optimisés par l’IA d’ici 2026 représenteront à peine 15 % du marché IaaS mondial cette année, situé à 287,3 milliards de dollars.

Changement de paradigme. C’est intéressant car cela n’ouvre pas seulement la porte à d’autres types de plateformes d’IA. L’entraînement nécessite avant tout du muscle, mais l’inférence nécessite de la rapidité et une faible latence car c’est le système qui calcule la réponse qu’il apporte à la question d’un utilisateur. En termes économiques, la formation d’un modèle implique un coût initial élevé, mais il est limité. Les entreprises achètent l’équipement, font évoluer leurs centres de données et dispensent la formation.

Une fois cette formation prête, il est temps de déduire, et cette inférence implique un coût récurrent qui augmente avec chaque interaction utilisateur. Dans l’ère agentique dans laquelle nous entrons également, ces demandes sont multipliées par beaucoup, et il existe déjà des analyses qui estiment que l’inférence représentera entre 80 % et 90 % du coût total de vie d’un système d’IA. Le pourcentage restant sera consacré à la formation.

C’est là que réside le changement de paradigme, puisque l’IA passe du statut de « projet d’investissement » à celui de « dépense permanente ». Pour des géants comme Meta, Google, Amazon ou Microsoft, cela implique que l’IA n’est plus seulement une partie supplémentaire de l’entreprise, mais une partie fondamentale de celle-ci.

Repenser le cloud. Dans leurs projets, ces géants doivent structurer le budget différemment, en se concentrant sur le coût par jeton, l’efficacité énergétique et la latence. Il faudrait arrêter de se vanter autant de la taille d’un modèle car ce n’est pas ce qui va désormais donner le ton. Et bien sûr, l’inférence qui domine le paysage oblige les fournisseurs de services cloud à repenser leurs systèmes.

Comme je l’ai dit, ce n’est plus seulement une question de puissance, les centres de données devront donc être repensés pour être plus efficaces au service des modèles. C’est là qu’une mémoire plus rapide, une bande passante plus élevée et une efficacité pèseront autant, voire plus, que la puissance de calcul brute. Selon Gartner, les architectures des centres de données devront s’adapter pour être plus denses en accélérateurs, mais les entreprises devront également évoluer pour proposer des taux d’utilisation plus agressifs.

Autres types d’appareils. Bien que ce changement de paradigme soit déjà visible dans les grands centres de données, avec des entreprises chinoises qui conçoivent leurs systèmes pour être des as de l’inférence et Nvidia fabriquant en masse sa plateforme Vera Rubin, au niveau de la « consommation » (entre guillemets, car elle est très chère), nous constatons également qu’il existe de nouveaux appareils davantage conçus pour cette inférence locale.

Il existe DGX Spark, une station de travail Nvidia unique avec une puissance incroyable et une capacité d’inférence sans aucun doute, mais dans les ordinateurs portables, nous avons l’homologue de Microsoft (en alliance avec Nvidia). Il faut s’attendre à ce que, avec l’essor de l’IA et profitant du fait qu’ils vont lancer des équipements coûteux parce qu’ils n’ont pas d’autre choix, les fabricants de PC et d’ordinateurs portables se lanceront dans l’incorporation de NPU, CPU et GPU conçus pour exécuter efficacement et localement des modèles qui ne dépendent pas tellement du cloud, mais qui s’appuient sur lui pour des « appels » plus exigeants.

Le côté négatif (celui-là, vous le connaissez déjà). Le problème est que l’appétit d’inférence des Big Tech fait chuter le marché des composants. Nous l’avons déjà abordé à d’innombrables reprises ces derniers mois (même s’il ne suffit jamais de souligner qui et pourquoi le marché grand public est détruit), mais comme les principaux fabricants de DRAM (Samsung, Micron et SK Hynix) consacrent toute leur production à l’IA et à la mémoire des serveurs HBM et DDR5, au niveau des utilisateurs, nous ne pouvons pas opter pour des prix compétitifs.

Non seulement dans la mémoire RAM, mais aussi dans le stockage NAND comme les SSD, dans le stockage conventionnel comme les disques durs pour configurer un NAS maison et arrêter de dépendre du cloud pour tout et même d’autres composants comme les cartes graphiques, les processeurs et les cartes mères. Il en résulte des composants plus chers, mais aussi des téléphones portables, des consoles et tout appareil aux prix prohibitifs.

Au-delà du matériel, il y a le prix de l’IA elle-même. Ne pensez pas tellement à l’utilisateur qui souhaite rechercher une recette ou une table d’exercices (un contenu réalisé par des humains aussi bien sur le web que sur YouTube, sans avoir recours à une IA) : pensez aux entreprises. Étant donné que ceux qui offrent le service devront supporter ces dépenses permanentes et devront être plus agressifs pour gagner de l’argent, nous pourrions finir par voir des limites de jetons plus faibles, encore plus de niveaux d’abonnement et même une tarification dynamique basée sur la charge du système.

L’avenir s’annonce passionnant (et une IA ne détecterait pas le sarcasme dans cette phrase).

Images | Nvidia

À Simseo | Nvidia vient de lancer son propre modèle d’IA gratuit. Le faire maintenant est parfaitement logique.