Un outil logiciel pourrait aider à résoudre ce problème

Selon une nouvelle étude de l'Université du Michigan, une manière moins coûteuse de former de grands modèles de langage, comme la série GPT, se termine dans le même laps de temps et jusqu'à 30 % d'énergie en moins.

Cette approche pourrait permettre d'économiser suffisamment d'énergie pour alimenter 1,1 million de foyers américains en 2026, sur la base des projections de Wells Fargo concernant la demande d'énergie de l'IA. Cela pourrait également contrecarrer la prévision du Fonds monétaire international selon laquelle les centres de données pourraient représenter 1,2 % des émissions mondiales de carbone d'ici 2027, ainsi que la demande en eau qui accompagne cette consommation d'énergie.

Certains experts affirment que ces coûts pourraient être compensés par les avantages environnementaux. Ils soutiennent que l’IA pourrait « changer la donne » dans la lutte contre le changement climatique en identifiant des moyens d’optimiser les chaînes d’approvisionnement et le réseau, de gérer nos besoins énergétiques et d’améliorer la recherche sur le changement climatique. Cela n’excuse toutefois pas le gaspillage d’énergie, et une partie de la puissance utilisée pour entraîner l’IA n’a aucun impact sur le temps de formation et la précision du modèle.

« Pourquoi dépenser quelque chose quand ça ne sert à rien ? » a déclaré Mosharaf Chowdhury, professeur agrégé d'informatique et d'ingénierie et auteur correspondant de l'étude présentée lundi dernier lors du 30e Symposium sur les principes des systèmes d'exploitation.

« Nous ne pouvons pas continuer à construire des centres de données de plus en plus grands parce que nous n'aurons pas la puissance nécessaire pour les faire fonctionner », a déclaré Chowdhury. « Si nous pouvons réduire l'énergie consommée par l'IA, nous pouvons réduire son empreinte carbone et ses besoins en refroidissement et permettre davantage de calculs pour s'adapter à nos contraintes énergétiques actuelles. »

Le gaspillage d'énergie est créé lorsque la formation en IA est inégalement répartie entre les GPU, qui sont des processeurs informatiques spécialisés pour les applications graphiques et de données volumineuses. Même si cela ouvre la porte au gaspillage, le fractionnement du travail est nécessaire pour traiter d’énormes ensembles de données.

« Les modèles d'IA d'aujourd'hui sont si volumineux qu'ils ne peuvent pas tenir dans un seul processeur informatique », a déclaré Jae-Won Chung, doctorant en informatique et en ingénierie et premier auteur de l'étude. « Ils doivent être divisés en dizaines de milliers de processeurs pour être formés, mais diviser les modèles en tailles parfaitement égales pour tous les processeurs est pratiquement impossible. »

Les tâches de formation sont très difficiles à répartir de manière égale car certaines tâches doivent être regroupées sur le même processeur, comme la façon dont chaque tranche d'une série de livres sera regroupée dans une étagère organisée. Selon la façon dont les tâches sont regroupées, certains processeurs peuvent se retrouver coincés avec l'équivalent de formation en IA de l'Encyclopedia Britannica tandis que d'autres se voient attribuer une trilogie fantastique.

Étant donné que les méthodes de formation actuelles font fonctionner chaque processeur à une vitesse maximale, les processeurs ayant une charge plus légère termineront leurs calculs avant les autres processeurs. Cela n'accélère pas la formation, qui n'est terminée que lorsque chaque processeur a terminé son travail, mais c'est un gaspillage car des calculs plus rapides nécessitent plus d'énergie. De plus, des problèmes tels qu'un matériel défectueux ou des retards dans le réseau génèrent un gaspillage d'énergie en ralentissant la vitesse de calcul d'un seul processeur.

Pour économiser de l'énergie, les chercheurs ont développé un outil logiciel appelé Perseus qui identifie un chemin critique, ou une série de sous-tâches qui prendront le plus de temps à accomplir. Ensuite, Perseus ralentit les processeurs qui ne se trouvent pas sur le chemin critique afin qu'ils terminent tous leur travail à peu près en même temps, éliminant ainsi la consommation d'énergie inutile.

« Réduire le coût énergétique de l'IA peut avoir des implications importantes pour un accès équitable à l'IA », a déclaré Chowdhury. « Si un pays n'a pas assez de puissance pour faire fonctionner un grand modèle, il devra peut-être utiliser des services à distance, ou se retrouver obligé d'utiliser des modèles plus petits et moins précis. Cet écart pourrait perpétuer davantage les disparités entre les différentes communautés. »

L'équipe a testé Perseus en entraînant GPT-3, trois autres grands modèles de langage et un modèle de vision par ordinateur.

Perseus est un outil open source disponible dans le cadre de Zeus, un outil de mesure et d'optimisation de la consommation énergétique de l'IA.