L’IA a une empreinte carbone importante et croissante, mais des solutions potentielles se profilent à l’horizon

Compte tenu de l’énorme potentiel de résolution de problèmes de l’intelligence artificielle (IA), il ne serait pas exagéré de penser que l’IA pourrait également nous aider à lutter contre la crise climatique. Cependant, lorsque l’on considère les besoins énergétiques des modèles d’IA, il devient clair que la technologie fait autant partie du problème climatique qu’elle en constitue une solution.

Les émissions proviennent de l’infrastructure associée à l’IA, comme la construction et l’exploitation des centres de données qui gèrent les grandes quantités d’informations nécessaires au fonctionnement de ces systèmes.

Mais différentes approches technologiques dans la manière dont nous construisons des systèmes d’IA pourraient contribuer à réduire son empreinte carbone. Deux technologies en particulier sont particulièrement prometteuses pour y parvenir : l’augmentation des réseaux de neurones et l’apprentissage tout au long de la vie.

La durée de vie d’un système d’IA peut être divisée en deux phases : la formation et l’inférence. Pendant la formation, un ensemble de données pertinent est utilisé pour créer et régler (améliorer) le système. En inférence, le système entraîné génère des prédictions sur des données auparavant inédites.

Par exemple, la formation d’une IA destinée à être utilisée dans des voitures autonomes nécessiterait un ensemble de données regroupant de nombreux scénarios de conduite différents et des décisions prises par des conducteurs humains.

Après la phase de formation, le système d’IA prédira les manœuvres efficaces d’une voiture autonome. Les réseaux de neurones artificiels (ANN) sont une technologie sous-jacente utilisée dans la plupart des systèmes d’IA actuels.

Ils comportent de nombreux éléments différents, appelés paramètres, dont les valeurs sont ajustées lors de la phase de formation du système d’IA. Ces paramètres peuvent atteindre plus de 100 milliards au total.

Bien qu’un grand nombre de paramètres améliorent les capacités des ANN, ils rendent également les processus de formation et d’inférence gourmands en ressources. Pour mettre les choses en perspective, la formation GPT-3 (le système d’IA précurseur de l’actuel ChatGPT) a généré 502 tonnes de carbone, ce qui équivaut à conduire 112 voitures à essence pendant un an.

GPT-3 émet en outre 8,4 tonnes de CO₂ par an en raison de l’inférence. Depuis le début du boom de l’IA au début des années 2010, les besoins énergétiques des systèmes d’IA connus sous le nom de grands modèles de langage (LLM) – le type de technologie qui se cache derrière ChatGPT – ont été multipliés par 300 000.

Avec l’omniprésence et la complexité croissantes des modèles d’IA, cette tendance va se poursuivre, faisant potentiellement de l’IA un contributeur important aux émissions de CO₂. En fait, nos estimations actuelles pourraient être inférieures à l’empreinte carbone réelle de l’IA en raison du manque de techniques standard et précises pour mesurer les émissions liées à l’IA.

Augmentation des réseaux de neurones

Les nouvelles technologies mentionnées précédemment, les réseaux neuronaux à pointe (SNN) et l’apprentissage tout au long de la vie (L2), ont le potentiel de réduire l’empreinte carbone toujours croissante de l’IA, les SNN agissant comme une alternative économe en énergie aux ANN.

Les ANN fonctionnent en traitant et en apprenant des modèles à partir des données, ce qui leur permet de faire des prédictions. Ils travaillent avec des nombres décimaux. Pour effectuer des calculs précis, en particulier lors de la multiplication de nombres avec des points décimaux, l’ordinateur doit être très précis. C’est à cause de ces nombres décimaux que les ANN nécessitent beaucoup de puissance de calcul, de mémoire et de temps.

Cela signifie que les ANN deviennent plus énergivores à mesure que les réseaux deviennent plus grands et plus complexes. Les ANN et les SNN sont inspirés par le cerveau, qui contient des milliards de neurones (cellules nerveuses) connectés les uns aux autres via des synapses.

Comme le cerveau, les ANN et les SNN possèdent également des composants que les chercheurs appellent neurones, bien qu’ils soient artificiels et non biologiques. La principale différence entre les deux types de réseaux de neurones réside dans la manière dont les neurones individuels se transmettent des informations.

Les neurones du cerveau humain communiquent entre eux en transmettant des signaux électriques intermittents appelés pointes. Les pointes elles-mêmes ne contiennent aucune information. L’information réside plutôt dans le timing de ces pics. Cette caractéristique binaire, tout ou rien, des pointes (généralement représentée par 0 ou 1) implique que les neurones sont actifs lorsqu’ils présentent une pointe et inactifs autrement.

C’est l’une des raisons pour lesquelles le traitement est économe en énergie dans le cerveau.

Tout comme le code Morse utilise des séquences spécifiques de points et de tirets pour transmettre des messages, les SNN utilisent des modèles ou des timings de pointes pour traiter et transmettre les informations. Ainsi, alors que les neurones artificiels des ANN sont toujours actifs, les SNN consomment de l’énergie uniquement lorsqu’un pic se produit.

Autrement, leurs besoins énergétiques sont proches de zéro. Les SNN peuvent être jusqu’à 280 fois plus économes en énergie que les ANN.

Mes collègues et moi développons des algorithmes d’apprentissage pour les SNN qui pourraient les rapprocher encore plus de l’efficacité énergétique du cerveau. Les exigences de calcul moindres impliquent également que les SNN pourraient être capables de prendre des décisions plus rapidement.

Ces propriétés rendent les SNN utiles pour un large éventail d’applications, notamment l’exploration spatiale, la défense et les voitures autonomes, en raison des sources d’énergie limitées disponibles dans ces scénarios.

L2 est une autre stratégie sur laquelle nous travaillons également pour réduire les besoins énergétiques globaux des ANN au cours de leur durée de vie.

La formation séquentielle des ANN (où les systèmes apprennent à partir de séquences de données) sur de nouveaux problèmes leur fait oublier leurs connaissances antérieures tout en apprenant de nouvelles tâches. Les ANN doivent être recyclés à partir de zéro lorsque leur environnement opérationnel change, ce qui augmente encore les émissions liées à l’IA.

L2 est un ensemble d’algorithmes qui permettent d’entraîner des modèles d’IA de manière séquentielle sur plusieurs tâches avec peu ou pas d’oubli. L2 permet aux modèles d’apprendre tout au long de leur vie en s’appuyant sur leurs connaissances existantes sans avoir à les recycler à partir de zéro.

Le domaine de l’IA connaît une croissance rapide et d’autres avancées potentielles émergent qui peuvent atténuer la demande énergétique de cette technologie. Par exemple, créer des modèles d’IA plus petits qui présentent les mêmes capacités prédictives qu’un modèle plus grand.

Les progrès de l’informatique quantique – une approche différente de la construction d’ordinateurs exploitant les phénomènes du monde de la physique quantique – permettraient également une formation et une inférence plus rapides à l’aide des ANN et des SNN. Les capacités informatiques supérieures offertes par l’informatique quantique pourraient nous permettre de trouver des solutions économes en énergie pour l’IA à une échelle beaucoup plus grande.

Le défi du changement climatique exige que nous essayions de trouver des solutions pour des domaines en évolution rapide tels que l’IA avant que leur empreinte carbone ne devienne trop importante.