Faire progresser l’informatique inspirée du cerveau grâce aux réseaux de neurones hybrides
Le cerveau humain, avec sa remarquable intelligence générale et son efficacité exceptionnelle en matière de consommation d’énergie, constitue une source d’inspiration et d’aspiration constante pour le domaine de l’intelligence artificielle. S'appuyant sur la structure fondamentale du cerveau et les mécanismes de traitement de l'information, l'informatique inspirée du cerveau est apparue comme un nouveau paradigme informatique, prêt à orienter l'intelligence artificielle des domaines spécialisés vers des applications plus larges dans l'intelligence générale.
L'Association internationale des semi-conducteurs a reconnu l'informatique inspirée du cerveau comme l'une des deux technologies informatiques disruptives les plus prometteuses de l'ère post-loi de Moore.
En tant que domaine interdisciplinaire impliquant des puces, des logiciels, des algorithmes, des modèles et bien plus encore, le concept et le paradigme de recherche de l’informatique inspirée du cerveau ne cessent de s’étendre et de s’approfondir. Notamment, la puce Tianjic, publiée par le Centre de recherche sur l'informatique inspirée du cerveau de l'Université Tsinghua en 2019, a marqué une étape importante dans le domaine de l'informatique inspirée du cerveau.
Cette puce prend non seulement en charge les modèles orientés vers l'informatique et les neurosciences, mais permet également leur modélisation hybride, offrant ainsi un soutien solide au paradigme émergent de l'informatique hétérogène à double cerveau. Cette percée a encore stimulé le développement vigoureux et l’innovation des réseaux de neurones hybrides (HNN).
Récemment, une étude complète des HNN a été publiée dans le Revue scientifique nationale, grâce à une collaboration entre l'équipe du professeur Rong Zhao et celle du professeur Luping Shi de l'université Tsinghua. L'examen fournit un aperçu systématique des HNN, couvrant leurs origines, leurs concepts, leurs cadres de construction et leurs systèmes de support, tout en mettant également en évidence leur trajectoire de développement et leurs orientations futures.
En tant que paradigme de recherche représentatif fondé sur les principes du double cerveau, HNN combine de manière transparente les réseaux de neurones à pointes (SNN) orientés vers les neurosciences et les réseaux de neurones artificiels (ANN) orientés vers l'informatique. En exploitant les avantages uniques de ces réseaux hétérogènes en termes de représentation et de traitement de l’information, HNN insuffle une nouvelle vitalité au développement de l’intelligence générale artificielle (AGI).
L'hétérogénéité inhérente aux ANN et aux SNN au sein des HNN leur offre une grande flexibilité et diversité. Cependant, cette hétérogénéité pose également des défis importants dans leur construction. Pour promouvoir efficacement le développement des HNN, une approche systématique couvrant diverses perspectives est impérative, notamment les paradigmes d'intégration, les théories fondamentales, les flux d'informations, les modes d'interaction et les structures de réseau.
L'équipe collaborative a mis au point un cadre général de conception et de calcul pour les HNN qui répond à ces défis. Ils ont utilisé une approche innovante de découplage suivi d'intégration, en utilisant des unités hybrides (HU) paramétrées, qui ont réussi à surmonter les problèmes de connectivité entre les réseaux neuronaux hétérogènes. La stratégie d'intégration combine les caractéristiques uniques de divers paradigmes informatiques hétérogènes tout en améliorant la flexibilité et l'efficacité de la construction grâce au découplage.
En adoptant ce nouveau cadre, les HNN peuvent bénéficier des atouts des ANN et des SNN tout en atténuant leurs limites. Cette approche améliore non seulement les performances et les capacités des HNN, mais constitue également une base pour de nouvelles recherches et avancées dans le domaine de l’informatique inspirée du cerveau.
En considérant diverses dimensions de conception, des modèles HNN flexibles et diversifiés peuvent être construits. Ces modèles peuvent exploiter l'hétérogénéité des données et des systèmes de support pour atteindre un meilleur équilibre entre performances et coûts.
Actuellement, les HNN ont été largement appliqués à des tâches intelligentes telles que le suivi de cibles, la reconnaissance vocale, l'apprentissage continu, le contrôle de décision, etc., offrant ainsi des solutions innovantes dans ces domaines. De plus, inspiré par l’hétérogénéité du cerveau, le HNN peut également servir d’outil de modélisation pour la recherche en neurosciences, facilitant le développement collaboratif des neurosciences et des HNN.
Cette synergie ouvre un vaste espace de recherche et des opportunités pour que les deux domaines progressent ensemble. Grâce à la recherche et à l'exploration continues, HNN devrait contribuer davantage au développement de l'AGI et à notre compréhension des mécanismes complexes du cerveau.
Pour déployer et appliquer efficacement les HNN, le développement de systèmes de support appropriés est crucial. Actuellement, plusieurs infrastructures de support ont été développées, notamment des puces, des logiciels et des systèmes. En termes de conception de puce, Tianjic, une puce hybride inspirée du cerveau, a été entièrement optimisée pour une intégration transparente des HNN. Cette puce offre des performances et une efficacité améliorées spécifiquement adaptées aux applications HNN.
Du côté logiciel, la complétude neuromorphique fournit un support théorique et des conseils de conception de cadre pour la compilation et le déploiement de HNN. Cela garantit que les systèmes logiciels peuvent gérer efficacement les caractéristiques uniques et les exigences de calcul des modèles HNN.
De plus, le système informatique inspiré du cerveau Jingwei-2 a optimisé l'infrastructure de calcul, de stockage et de communication au niveau du cluster. Ce système constitue une base solide pour le développement de HNN à grande échelle en fournissant les ressources nécessaires pour gérer les exigences informatiques des réseaux neuronaux complexes.
Pour l’avenir, les recherches approfondies sur les HNN à grande échelle revêtent une grande importance. Par exemple, actuellement, dans le domaine de l’apprentissage profond, les modèles basés sur Transformer avec des milliards, voire des milliards de paramètres, ont fait des progrès significatifs dans le traitement du langage naturel et la compréhension des images. Cependant, ces avancées s’accompagnent d’un coût énergétique important.
Lors de la récente conférence ISSCC sur la conception de puces, il a été rapporté qu'en utilisant des HNN, des modèles de transformateurs hybrides avaient été construits avec succès, entraînant une réduction substantielle de la consommation d'énergie. Cela met en évidence le potentiel des HNN pour relever les défis d’efficacité énergétique associés aux modèles à grande échelle.
L’exploration des méthodes de conception et d’optimisation des HNN à grande échelle, ainsi que la construction d’ensembles de données de formation, constitueront des axes de recherche importants à l’avenir. Ces domaines offrent une grande valeur de recherche et de larges perspectives d'application, notamment pour réduire la consommation d'énergie tout en maintenant, voire en améliorant les performances de modèles complexes.
