« Il suffirait de deux réacteurs nucléaires pour le couvrir »
Nous pouvons le réguler et essayer de l’arrêter, mais à ce stade, il est clair que le développement de l’intelligence artificielle générative est imparable. Au-delà des implications, il y a un problème énergétique : une énorme capacité de calcul est nécessaire pour traiter les réponses et, surtout, former de grands modèles d’IA, une possibilité à la portée de très peu d’entreprises.
Combien d’énergie l’IA générative consomme-t-elle ? Sergey Edunov, ingénieur en chef de l’IA générative de Meta, a une réponse surprenante : « il suffit de deux réacteurs nucléaires » pour répondre à la demande.
C’est une vision optimiste d’un problème qui nous préoccupe depuis plusieurs années : l’IA superpolluante. Former des modèles d’intelligence artificielle n’augmenterait pas les émissions de carbone si nous construisions une centrale nucléaire avec deux réacteurs exclusivement pour les alimenter.
L’énergie nucléaire pour nourrir la bête. Meta n’est pas la première entreprise à associer l’énergie nucléaire à l’intelligence artificielle. Microsoft a révélé en septembre son intention de développer des réacteurs à fission nucléaire « pour alimenter les centres de données dans lesquels résident Microsoft Cloud et son intelligence artificielle ».
Microsoft a également investi dans la fusion nucléaire. En début d’année, la société dirigée par Satya Nadella a accepté d’acheter de l’énergie de fusion à Helion Energy, une startup dirigée par Sam Altman, si elle parvenait à démarrer ses ingénieux réacteurs à fusion d’ici 2028. Un accord de plus entre Nadella et Altman, mais c’est logique. Après tout, l’IA elle-même nous aide à surmonter les plus grands défis de la fusion nucléaire.
D’où vient le calcul Meta ? Sergey Edunov dirige la formation de Llama 2, le modèle de langage de Meta devenu l’un des plus utilisés grâce à son approche open source. Lors d’une table ronde animée par VentureBeat dans la Silicon Valley, Edunov a mis quelques chiffres sur la table :
« Nvidia lancera entre un million et deux millions de GPU H100 l’année prochaine. Si tous ces GPU étaient utilisés pour générer des « jetons » pour des modèles de langage de taille raisonnable, ils totaliseraient environ 100 000 jetons par personne et par jour sur toute la planète. « Le H100 consomme environ 700 watts ; en ajoutant le refroidissement du centre de données, environ 1 kW. Ce n’est pas grand-chose à l’échelle humaine, il suffirait de deux réacteurs nucléaires pour alimenter tous ces H100. »
Formation sur modèle vs. ‘inférence’. Edunov a fait plusieurs réserves. Son estimation ne prend pas en compte la formation du modèle, mais plutôt son « inférence », le processus par lequel un modèle d’IA déjà entraîné applique ce qu’il a appris pour répondre aux questions et demandes.
La formation est beaucoup plus coûteuse en énergie que l’inférence, c’est pourquoi tous les grands modèles ont un seuil d’information (le dernier seuil de ChatGPT est avril 2023, mais avant cela, il fonctionnait pendant des mois avec des informations à partir de 2021). Son calcul par « tokens » (unités linguistiques que les modèles linguistiques sont capables de traiter) ne prend en compte que la capacité d’inférence générative d’IA que Nvidia envisage de vendre en 2024.
Un calcul alternatif. « L’intelligence artificielle aura bientôt besoin d’autant d’électricité qu’un pays entier », titrait le New York Times il y a un mois. L’article faisait référence à une étude qui estime la consommation de 85 à 134 térawatts d’ici 2027. Autant que l’Argentine, les Pays-Bas ou la Suisse.
Un réacteur nucléaire a une capacité de production d’environ 1 000 mégawattheures. Moins de 9 térawattheures par an, s’il fonctionnait sans arrêt.
L’empreinte carbone de l’IA. Pour le moment, le monde ne fonctionne pas comme le suggère Edunov. Les cartes graphiques qui font des heures supplémentaires pour que nous puissions discuter avec une machine ou créer des mèmes Pixar ne sont pas alimentées exclusivement par des sources sans carbone. Les datacenters sont directement responsables de 1% des émissions de gaz à effet de serre, et la situation empire à cause de l’IA
Une réglementation accrue peut accélérer la transition vers une consommation d’énergie à zéro émission. Une nouvelle loi du gouvernement californien oblige les grandes entreprises technologiques, dont OpenAI et Google, à révéler leur empreinte carbone et celle de leur chaîne d’approvisionnement d’ici 2026. En Europe, la Commission européenne propose que les centres de données soient neutres en carbone d’ici 2030.
