Rétropropagation chaotique inspirée du cerveau

Depuis qu’on a découvert dans les années 1980 que l’apprentissage dans le cerveau du lapin utilisait le chaos, ce comportement dynamique non linéaire et initialement sensible aux valeurs est de plus en plus reconnu comme faisant partie intégrante de l’apprentissage cérébral.

Cependant, les algorithmes d’apprentissage modernes pour les réseaux de neurones artificiels, en particulier les réseaux de neurones à pointe (SNN) qui ressemblent beaucoup au cerveau, n’ont pas exploité efficacement cette fonctionnalité.

Zijian Wang et Peng Tao, en collaboration avec le directeur du laboratoire Luonan Chen, se sont efforcés d'introduire la dynamique chaotique intrinsèque du cerveau dans les algorithmes d'apprentissage des SNN existants. Ils ont découvert que cela pouvait être accompli en intégrant simplement une fonction de perte analogue à l'entropie croisée (voir l'image ci-dessous).

En outre, ils ont observé qu'un SNN équipé d'une dynamique chaotique améliore non seulement les performances d'apprentissage/d'optimisation, mais améliore également les performances de généralisation sur les ensembles de données neuromorphiques (par exemple, DVS-CIFAR10 et DVS-Gesture) et les ensembles de données statiques à grande échelle (par exemple, CIFAR100 et ImageNet), à l'aide des propriétés ergodiques et pseudo-aléatoires du chaos.

L’équipe a également expérimenté l’introduction d’un chaos extrinsèque, par exemple en utilisant des cartes logistiques. Cependant, cela n’a pas amélioré les performances d’apprentissage des SNN. « C'est un résultat passionnant, qui implique que le chaos intrinsèque que le cerveau a développé au fil des milliards d'années joue un rôle important dans son efficacité d'apprentissage », explique Luonan Chen.

Bien que les SNN aient une caractérisation spatio-temporelle des signaux plus forte et une efficacité d’utilisation de l’énergie plus élevée, leurs performances sont souvent en retard par rapport à celles des réseaux neuronaux traditionnels de taille équivalente en raison du manque d’algorithmes d’apprentissage efficaces. Ce nouvel algorithme comble efficacement cette lacune. De plus, puisqu’une seule fonction de perte supplémentaire doit être introduite, elle peut être utilisée comme unité de plug-in généralisée avec les méthodologies d’apprentissage SNN existantes.

L'étude est publiée dans la revue Revue scientifique nationale.