En IA, les téraflops venaient en premier, puis les paramètres. Maintenant, ce qui compte, ce sont les « vantards »

Le débat technologique tourne autour des modes, et il n’y a rien de plus à la mode que l’intelligence artificielle. Tous les pays qui veulent participer à la conversation développent leurs modèles et leurs outils et il est intéressant de voir à quel point la géopolitique imprègne tout : les États-Unis cherchent à être souverains tandis que la Chine veut désormais monétiser.

Mais aussi intéressantes que soient les capacités d’un modèle ou d’un autre, il s’agit de deux concepts totalement alignés : les centres de données qui alimentent l’énorme quantité de calculs nécessaires à la formation de l’intelligence artificielle et, évidemment, où ils obtiennent cette quantité absurde d’énergie.

Et à la suite de cette conversation est né un terme fascinant : « bragawatts ».

Les « vantardises » comme vantardise de l'IA

Il est courant que lorsque des entreprises comme OpenAI ou Google annoncent de nouveaux centres de données axés sur l’IA, elles donnent des chiffres explosifs sur la quantité d’énergie qu’ils consommeront. Récemment, OpenAI a annoncé un nouveau campus dans le Michigan qui, avec six autres récemment révélés, aura besoin de plus de 8 GW pour fonctionner.

On parle aussi d'argent : un plan lancé en janvier de cette année de 500 milliards de dollars et 10 GW de capacité prévue.

Selon l’entreprise, il s’agit de « l’infrastructure nécessaire pour faire progresser l’IA et réindustrialiser le pays ». Au Finanfial Times, ils ont fait le calcul et, avec le projet Michigan, l'entreprise dispose de 46 GW de puissance de calcul. Comme lorsqu’on parle d’opérations comme le rachat d’Activision-Blizzard par Microsoft pour 75 milliards de dollars, il faut relativiser car il est difficile d’imaginer des chiffres aussi énormes.

Si 1 GW suffit à alimenter 800 000 foyers aux États-Unis (avec ce qu’ils dépensent en climatisation à tout moment de l’année), ces centres de données OpenAI consommeraient autant d’énergie que plus de 44 millions de foyers. Autre contexte souligné dans le Financial Times : il y a presque trois fois plus de logements en Californie.

Et le fait que les entreprises diffusent si volontiers ces données sur la puissance a conduit certains à inventer le terme « bragawatt ». Ce néologisme est une combinaison sarcastique entre « se vanter », « se montrer », et « watts », l'unité de puissance. En espagnol, il est difficile de trouver un nom, mais au fond, c'est une vantardise, quelque chose que certaines entreprises utilisent, exagérant publiquement les capacités de consommation d'énergie prévues pour leurs infrastructures.

Il y a plusieurs raisons pour lesquelles cela est fait, mais comme pour tout type d'annonce d'entreprises « publiques » – celles cotées en bourse -, l'objectif est d'attirer l'attention à la fois de la presse et du secteur technologique et, surtout, des investisseurs.

Dans le milieu économique, on remarque que ces chiffres grandiloquents ne sont pas toujours respectés, mais au-delà des vantardises marketing, il y a une substance à tout cela. OpenAI a demandé au gouvernement américain d'obtenir 100 GW par an pour alimenter les différents développements d'IA du pays, et NVIDIA a très bien expliqué pourquoi l'estimation de la demande pour ces centres est un problème.

Dans un récent rapport, la société a commenté quelque chose de très intéressant :

Contrairement à un centre de données traditionnel, qui exécute des milliers de tâches indépendantes, une « usine » d’IA fonctionne comme un système unique. Lors de la formation d'un grand modèle de langage, ou LLM, des milliers de GPU effectuent des cycles de calcul intensifs, suivis de périodes d'échange de données. Tout se fait en parfaite synchronisation qui génère un profil énergétique caractérisé par des variations de charge massives et rapides.

La consommation électrique d'un rack peut passer d'un état « inactif », soit environ 30 % d'utilisation, à 100 % et inversement en quelques millisecondes. Cela oblige les ingénieurs à surdimensionner les composants pour supporter le courant maximum, et non le courant moyen, ce qui augmente les coûts et les besoins en espace.

Lorsque ces oscillations s’ajoutent à l’ensemble d’une salle de données – ce qui peut représenter des centaines de mégawatts augmentant et diminuant en quelques secondes – elles constituent une menace importante pour la stabilité du réseau électrique, faisant de l’interconnexion avec le réseau un goulot d’étranglement majeur pour l’expansion de l’IA.

Par conséquent, au-delà des vantardises mentionnées ci-dessus, il y a une certaine substance dans ces chiffres énormes que donnent les entreprises. Et ce que dit Nvidia est étayé par des données. Les grandes entreprises technologiques américaines reprennent d’importants centres de production d’électricité, soit nucléaire, soit sous contrat avec des sociétés pétrolières et gazières.

Le charbon réapparaît en pleine décarbonation pour alimenter les centres de données des « gloutons » et nous constatons que cette focalisation sur le LLM conduit les grandes compagnies pétrolières à prendre un tournant dans leurs projets d'adoption des énergies renouvelables. L’IA a besoin d’une énergie rapide, capable de supporter ces pics de performances, et les énergies renouvelables ne semblent pas être la voie à suivre pour le moment.

Alors que nous parlons de chiffres grandioses, on estime que d’ici 2029, le monde dépensera environ 3 000 milliards de dollars (« ses » 3 000 milliards) en centres de données. Et pour donner plus de contexte, voici ce que valait l'économie française en 2024. Qu'il s'agisse ou non d'une bulle est une autre question, mais certains pensent que ces « watts en fanfare » sont très difficiles à croire. Qui souligne également que l’IA aura plus d’impact que les technologies jusqu’à présent, y compris Internet, il est donc possible que nous ayons besoin de toute cette énergie.

Seul le temps nous le dira.

Images | Ismail Enes Ayhan

À Simseo | Pendant que la Silicon Valley cherche de l'électricité, la Chine la subventionne : c'est ainsi qu'elle veut gagner la guerre de l'IA