Ces chercheurs ont fait en sorte que l’IA consomme 95 % d’énergie en moins. Il faut juste mieux multiplier
Chaque fois que nous utilisons ChatGPT ou Midjourney, nous contribuons à une consommation exceptionnelle d'énergie (et d'eau !). C’est précisément l’un des problèmes liés à l’essor de l’IA, et les entreprises réfléchissent déjà à utiliser des centrales nucléaires pour satisfaire cette demande. Alors que beaucoup s’efforcent de réfléchir à des méthodes permettant de répondre à ces besoins énergétiques, d’autres font exactement le contraire : faire en sorte que l’IA consomme beaucoup moins.
L'IA au régime. Comme le souligne Decrypt, les chercheurs de la société BitEnergy AI ont développé une nouvelle technique pour réduire la consommation d'énergie de ces modèles. Selon leurs estimations, leur méthode permet d'économiser jusqu'à 95 % de la consommation d'énergie sans compromettre la qualité de ces systèmes.
Mieux multiplier. La clé de ce « régime » réside dans la manière de multiplier les nombres à virgule flottante, une opération gourmande en calculs d’IA. Au lieu de multiplier, les chercheurs appliquent des additions de nombres entiers, ce qui, selon leur analyse, permet de réduire drastiquement les besoins énergétiques du fonctionnement.
Chiffres avec virgule. La virgule flottante est un concept mathématique qui permet aux ordinateurs de gérer efficacement des nombres très petits et grands avec une opération simple : placer la virgule décimale (ou, pour les pays ayant d'autres notations, le point). Plus le nombre (« largeur ») de bits est grand, plus nous obtenons de précision dans les calculs, mais aussi plus la dépense énergétique (ou les besoins en mémoire du système) est importante. Ainsi, par exemple, FP32 (utilisé dans les algorithmes d’apprentissage profond) offre une plus grande précision que FP8 (utilisé dans la formation et l’inférence, où une telle précision n’est pas requise).
L-Mul. L'algorithme développé par ces chercheurs modifie les multiplications pour des additions d'entiers. Il décompose ces multiplications par additions, ce qui accélère les calculs et réduit la consommation d'énergie sans impacter la précision du résultat.
Besoin de matériel spécial. Profiter de cette méthode présente cependant un inconvénient : elle nécessite un type de matériel spécifique, et les systèmes actuels ne sont pas optimisés pour réaliser de telles réductions. Malgré tout, les chercheurs assurent que leurs algorithmes sont implémentés avec des puces matérielles, et on s'attend à ce que cette option soit pratiquement disponible dans un avenir proche.
Prometteur. Les développeurs de la méthode affirment que cette technique permet aux systèmes d'IA de « potentiellement réduire le coût énergétique des multiplications de tenseurs à virgule flottante par éléments de 95 % et celui des produits scalaires de 80 % ». Les tenseurs sont des tableaux multidimensionnels de nombres qui représentent des données dans des réseaux de neurones.
La multiplication matricielle est un défi. Trouver de meilleures façons de multiplier les matrices est devenu un défi mathématique unique pour tous les types d’entités et d’entreprises. DeepMind a déjà dévoilé fin 2022 son propre système pour améliorer la multiplication matricielle, et à peine un an plus tard, une équipe de l’Université Polytechnique de Valence a également proposé une alternative tout aussi prometteuse.
À Simseo | Les physiciens ont quelque chose d'incroyable : une méthode très précise pour simuler les trous noirs dans leur laboratoire
