Comment l'IA peut-elle être plus économe en énergie? Les chercheurs se tournent vers le cerveau humain pour l'inspiration
On estime qu'il peut prendre un modèle d'IA plus de 6 000 joules d'énergie pour générer une seule réponse texte. En comparaison, votre cerveau n'a besoin que de 20 joules chaque seconde pour vous garder en vie et cognitif.
C'est pourquoi les chercheurs de l'université de Buffalo s'inspirent du cerveau humain pour développer une architecture informatique qui peut soutenir les exigences énergétiques croissantes de l'intelligence artificielle.
« Il n'y a rien au monde qui est aussi efficace que notre cerveau – cela a évolué pour maximiser le stockage et le traitement des informations et minimiser la consommation d'énergie », explique Sambandamurthy Ganapathy, Ph.D., professeur au Département de physique UB et de doyen associé pour la recherche au UB College of Arts and Sciences.
« Bien que le cerveau soit beaucoup trop complexe pour recréer, nous pouvons imiter la façon dont il stocke et traite les informations pour créer des ordinateurs plus économes en énergie, et donc une IA plus économe en énergie. »
Cette approche inspirée du cerveau est connue sous le nom de calcul neuromorphe. Ses origines remontent aux années 1980, mais elle a pris plus de pertinence ces dernières années, car les tâches informatiques sont devenues plus à forte intensité énergétique et complexes, en particulier les tâches qui nécessitent une IA.
Bien que l'informatique neuromorphique puisse se rapporter à la fois au matériel et aux logiciels d'inspiration cérébrale, l'équipe de Ganapathy se concentre sur le matériel. Leurs recherches sont un mélange de science quantique et d'ingénierie qui implique de sonder les propriétés électriques uniques des matériaux qui peuvent être utilisés pour construire des puces informatiques neuromorphes.
L'objectif de l'équipe est de développer finalement des puces et des appareils qui sont non seulement plus économes en énergie, mais aussi mieux pour accomplir des tâches, peut-être même d'une manière plus humaine.
« Les ordinateurs d'aujourd'hui ont été construits pour des tâches simples et répétitives, mais avec la montée en puissance de l'IA, nous ne voulons plus résoudre des problèmes simples », explique Ganapathy. « Nous voulons que les ordinateurs résolvent des problèmes complexes, comme les êtres humains le font tous les jours. L'informatique neuromorphe peut fournir la structure pour permettre aux ordinateurs de le faire. »
Les ordinateurs partagent déjà des similitudes avec le cerveau
Un ordinateur qui imite le cerveau humain n'est pas autant un saut que vous pourriez vous y attendre.
Les ordinateurs codent toutes leurs informations en binaire (celles et zéros) en utilisant des milliards de transistors, de minuscules commutateurs qui conduisent l'électricité (un) ou le bloquent (zéro). Nos cerveaux codent les informations d'une manière étonnamment similaire. Au lieu de transistors, nous avons des milliards de neurones qui tirent des signaux électriques ou restent silencieux.
« L'informatique neuromorphique vise simplement à aller au-delà du cadre binaire et plus près du système beaucoup plus complexe qui nous est donné par nature », explique Nitin Kumar, étudiant diplômé du laboratoire de Ganapathy.
Mémoire et traitement au même endroit
L'une des façons dont le cerveau est plus complexe et plus économe en énergie – qu'un ordinateur est que les informations sont stockées et traitées au même endroit.
« Ce n'est pas comme si le côté gauche du cerveau détenait tous les souvenirs et que la droite est là où tout l'apprentissage se produit », explique Ganapathy. « C'est entrelacé. »
Le stockage et le traitement des informations sont séparés dans des ordinateurs traditionnels, et donc, beaucoup d'énergie est utilisée simplement en transportant des données le long de minuscules circuits entre son unité de mémoire et son unité de traitement. Cela peut devenir encore plus à forte intensité d'énergie lorsque l'architecture informatique prend en charge un modèle d'IA.
« Bien sûr, la question devient alors à quel point nous pouvons placer la mémoire et le traitement ensemble dans une puce informatique », explique Ganapathy. « Ceci est connu comme l'informatique en mémoire et c'est un avantage majeur de l'informatique neuromorphe. »
Neurones et synapses artificielles
La mémoire et le traitement sont entrelacés dans le cerveau grâce à un système complexe de neurones.
Les neurones s'envoient des signaux électriques via les synapses qui les connectent, transportant efficacement des informations dans un vaste réseau. En terminologie informatique, les synapses stockent la mémoire et les neurones effectuent le traitement.
L'équipe de Ganapathy développe donc des neurones et des synapses artificiels conçus pour imiter la signalisation électrique de leurs homologues biologiques de l'information.
« Nous voulons essentiellement recréer ces oscillations électriques rythmiques et synchronisées que vous pouvez voir dans un scan cérébral », explique Kumar. « Pour ce faire, nous devons créer nos neurones et nos synapses à partir de matériaux avancés dont la conductivité électrique peut être contrôlée de manière contrôlable avec précision. »
Trouver les bons matériaux
Les matériaux avancés qui correspondent à ce projet de loi sont appelés matériaux de changement de phase (PCM).
Les PCM peuvent basculer entre leurs phases conductrices et résistives lorsqu'elles sont frappées avec des impulsions électriques contrôlées, permettant aux scientifiques de synchroniser leurs oscillations électriques.
Les PCM peuvent également conserver leur phase conductrice ou résistive même après la fin de l'impulsion électrique appliquée. En d'autres termes, ils tiennent essentiellement la mémoire de leurs phases précédentes.
« Cela permet à leur niveau de conductivité de changer progressivement en réponse à des impulsions électriques répétées – similaire à la façon dont une synapse biologique est renforcée par activation répétée », explique Ganapathy.
Certains des matériaux PCM sur lesquels l'équipe a publié des études comprennent récemment du bronze d'oxyde de cuivre vanadium, de l'oxyde de niobium et d'autres composés appelés frameworks métal-organiques. Leur travail est publié dans le Journal de l'American Chemical Society, Matériaux électroniques avancés et le arxiv Préimprimée serveur, respectivement.
« Nos expériences utilisent la tension ainsi que la température pour changer la conductivité des matériaux. Nous examinons ensuite cet effet jusqu'aux électrons des matériaux », explique Kumar.
« Afin d'incorporer ces matériaux dans les puces neuromorphes en tant que neurones et synapses artificiels, nous devons les comprendre à l'échelle atomique. C'est pourquoi nous travaillons actuellement avec leurs collaborateurs pour obtenir un contrôle au niveau atomique sur les structures de matériaux, permettant un réglage précis des propriétés de commutation électrique. »
« Notre prochain objectif », ajoute Ganapathy, « est de synchroniser les oscillations de plusieurs dispositifs pour construire un réseau neuronal oscillatoire capable d'émuler des fonctions cérébrales complexes telles que la reconnaissance de motifs, le contrôle moteur et d'autres comportements rythmiques. »
Plus d'ordinateurs de type humain?
Ganapathy souligne que les ordinateurs neuromorphes imitent le cerveau à un niveau purement phénoménologique. L'informatique neuromorphe vise à recréer les comportements et les avantages fonctionnels du cerveau – pas la conscience.
Cependant, il est possible que les ordinateurs neuromorphes résolvent des problèmes moins comme les ordinateurs et plus comme les êtres humains.
Les ordinateurs d'aujourd'hui suivent la logique linéaire – la même entrée conduira toujours à la même sortie. Le cerveau humain est profondément non linéaire – prenez la même situation à une personne 10 fois et ils peuvent répondre 10 manières différentes.
Les ordinateurs d'aujourd'hui ne réussissent pas non plus avec des données limitées ou mal définies – par exemple, donnez à l'IA une vague invite et il est peu probable que cela vous donne la sortie que vous recherchez. Les humains, en revanche, réagissent souvent bien aux informations limitées ou même confuses.
« Il est donc possible que donner à un ordinateur une architecture plus complexe comme le cerveau humain lui permette de traiter de manière plus non linéaire et de s'adapter mieux aux données limitées », explique Ganapathy.
Les chercheurs pensent que cela pourrait être particulièrement utile dans des applications comme les voitures autonomes, où l'IA se porte bien dans la plupart des situations routières mais sous-performe toujours les humains en ce qui concerne les scénarios plus complexes sans solution facile; Pensez au cerf sauter devant votre voiture pendant que quelqu'un est taillé directement derrière vous.
En fait, les voitures autonomes peuvent être parmi les meilleures applications pour les puces neuromorphes, étant donné que des décisions en temps réel sont prises sur l'appareil lui-même, et non à des milliers de kilomètres sur un serveur distant.
« Les puces neuromorphes peuvent ne pas être dans votre smartphone de sitôt, mais je pense que nous les verrons dans des applications très spécifiques, comme les voitures autonomes. Peut-être même une puce pour répondre à la route et une autre pour trouver le meilleur itinéraire possible », explique Ganapathy. « Il n'y aura probablement pas un grand ordinateur neuromorphique qui résout tous les problèmes. Au lieu de cela, vous verrez de nombreuses puces neuromorphiques différentes qui résolvent chacune un problème. »
