Les modèles d’IA n’ont pas besoin d’être aussi gourmands en énergie

Le fait que des quantités colossales d’énergie soient nécessaires pour utiliser Google, parler à Siri, demander à ChatGPT de faire quelque chose ou utiliser l’IA dans n’importe quel sens est progressivement devenu de notoriété publique.

Une étude estime que d’ici 2027, les serveurs d’IA consommeront autant d’énergie que l’Argentine ou la Suède. En effet, on estime qu’une seule invite ChatGPT consomme en moyenne autant d’énergie que quarante charges de téléphone mobile. Mais la communauté des chercheurs et l’industrie doivent encore se concentrer sur le développement de modèles d’IA économes en énergie et donc plus respectueux du climat, soulignent des chercheurs en informatique de l’Université de Copenhague.

« Aujourd'hui, les développeurs se concentrent uniquement sur la création de modèles d'IA efficaces en termes de précision de leurs résultats. C'est comme dire qu'une voiture est efficace parce qu'elle vous amène rapidement à destination, sans tenir compte de la quantité de carburant qu'elle consomme. En conséquence, les modèles d'IA sont souvent inefficaces en termes de consommation d'énergie », explique le professeur adjoint Raghavendra Selvan du Département d'informatique, dont les recherches examinent les possibilités de réduire l'empreinte carbone de l'IA.

Mais une nouvelle étude, dont lui et l'étudiant en informatique Pedram Bakhtiarifard sont deux des auteurs, démontre qu'il est facile de réduire une grande quantité de CO₂e sans compromettre la précision d’un modèle d’IA. Pour ce faire, il faut garder à l’esprit les coûts climatiques dès les phases de conception et de formation des modèles d’IA. L'étude sera présentée à la Conférence internationale sur l'acoustique, la parole et le traitement du signal (ICASSP-2024).

« Si vous créez dès le départ un modèle économe en énergie, vous réduisez l'empreinte carbone à chaque phase du « cycle de vie » du modèle. Cela s'applique aussi bien à la formation du modèle, qui est un processus particulièrement énergivore qui prend souvent des semaines ou des mois, qu'à son application », explique Selvan.

Livre de recettes pour l'industrie de l'IA

Dans leur étude, les chercheurs ont calculé la quantité d’énergie nécessaire pour entraîner plus de 400 000 modèles d’IA de type réseau neuronal convolutif, sans réellement entraîner tous ces modèles. Entre autres choses, les réseaux de neurones convolutifs sont utilisés pour analyser l'imagerie médicale, pour la traduction linguistique et pour la reconnaissance d'objets et de visages, une fonction que vous connaissez peut-être grâce à l'application appareil photo de votre smartphone.

Sur la base de ces calculs, les chercheurs présentent une collection de référence de modèles d'IA qui utilisent moins d'énergie pour résoudre une tâche donnée, mais qui fonctionnent à peu près au même niveau. L'étude montre qu'en optant pour d'autres types de modèles ou en ajustant les modèles, 70 à 80 % d'économies d'énergie peuvent être réalisées pendant la phase de formation et de déploiement, avec seulement 1 % ou moins de diminution des performances. Et selon les chercheurs, il s’agit d’une estimation prudente.

« Considérez nos résultats comme un livre de recettes pour les professionnels de l'IA. Les recettes ne décrivent pas seulement les performances de différents algorithmes, mais aussi leur efficacité énergétique. Et qu'en échangeant un ingrédient avec un autre dans la conception d'un modèle, on peut obtiennent souvent le même résultat. Désormais, les praticiens peuvent choisir le modèle qu'ils souhaitent en fonction à la fois des performances et de la consommation d'énergie, et sans avoir besoin de former chaque modèle au préalable », explique Pedram Bakhtiarifard.

« Souvent, de nombreux modèles sont entraînés avant de trouver celui qui est soupçonné d'être le plus approprié pour résoudre une tâche particulière. Cela rend le développement de l'IA extrêmement énergivore. Il serait donc plus respectueux du climat de choisir le bon modèle. dès le départ, tout en en choisissant un qui ne consomme pas trop d'énergie pendant la phase d'entraînement. »

Les chercheurs soulignent que dans certains domaines, comme les voitures autonomes ou certains domaines de la médecine, la précision des modèles peut être essentielle pour la sécurité. Ici, il est important de ne pas faire de compromis sur les performances. Toutefois, cela ne devrait pas être un obstacle à la recherche d'une efficacité énergétique élevée dans d'autres domaines.

« L'IA a un potentiel incroyable. Mais si nous voulons garantir un développement durable et responsable de l'IA, nous avons besoin d'une approche plus globale qui prend en compte non seulement les performances des modèles, mais également l'impact climatique. Ici, nous montrons qu'il est possible de trouver une meilleure solution. » « Lorsque des modèles d'IA sont développés pour différentes tâches, l'efficacité énergétique doit être un critère fixe, tout comme c'est la norme dans de nombreuses autres industries », conclut Raghavendra Selvan.

Le « livre de recettes » élaboré dans ce travail est disponible sous forme d’ensemble de données open source permettant à d’autres chercheurs de l’expérimenter. Les informations sur toutes ces plus de 400 000 architectures sont publiées sur Github, auxquelles les praticiens de l'IA peuvent accéder à l'aide de simples scripts Python.

Les chercheurs de l'UCPH ont estimé la quantité d'énergie nécessaire pour former 429 000 modèles de sous-types d'IA connus sous le nom de réseaux neuronaux convolutifs dans cet ensemble de données. Ceux-ci sont utilisés entre autres pour la détection d’objets, la traduction linguistique et l’analyse d’images médicales.

On estime que la seule formation des 429 000 réseaux de neurones étudiés par l’étude nécessiterait 263 000 kWh. Cela équivaut à la quantité d’énergie qu’un citoyen danois moyen consomme sur 46 ans. Et il faudrait environ 100 ans à un ordinateur pour effectuer la formation. Les auteurs de ce travail n’ont pas réellement entraîné ces modèles eux-mêmes, mais les ont estimés à l’aide d’un autre modèle d’IA, économisant ainsi 99 % de l’énergie que cela aurait nécessité.

Pourquoi l’empreinte carbone de l’IA est-elle si importante ?

Entraîner des modèles d’IA consomme beaucoup d’énergie et émet donc beaucoup de CO₂e. Cela est dû aux calculs intensifs effectués lors de la formation d’un modèle, généralement exécutés sur des ordinateurs puissants.

Cela est particulièrement vrai pour les grands modèles, comme le modèle de langage derrière ChatGPT. Les tâches d'IA sont souvent traitées dans des centres de données, qui nécessitent des quantités importantes d'énergie pour maintenir les ordinateurs en fonctionnement et au frais. La source d’énergie de ces centres, qui peuvent dépendre de combustibles fossiles, influence leur empreinte carbone.