Apprentissage sur des architectures arborescentes qui surpassent un réseau convolutif à anticipation

Traditionnellement, l’intelligence artificielle découle de la dynamique du cerveau humain. Cependant, l’apprentissage cérébral est limité dans un certain nombre d’aspects significatifs par rapport à l’apprentissage en profondeur (DL). Premièrement, les structures (architectures) de câblage DL efficaces se composent de plusieurs dizaines de couches d’anticipation (consécutives), alors que la dynamique cérébrale ne se compose que de quelques couches d’anticipation. Deuxièmement, les architectures DL se composent généralement de plusieurs couches de filtre consécutives, qui sont essentielles pour identifier l’une des classes d’entrée.

Si l’entrée est une voiture, par exemple, le premier filtre identifie les roues, le second identifie les portes, le troisième s’allume et après de nombreux filtres supplémentaires, il devient clair que l’objet d’entrée est bien une voiture. À l’inverse, la dynamique cérébrale ne contient qu’un seul filtre situé à proximité de la rétine. Le dernier composant nécessaire est la procédure mathématique complexe d’entraînement DL, qui est évidemment bien au-delà de la réalisation biologique.

Le cerveau, avec sa réalisation limitée d’opérations mathématiques précises, peut-il rivaliser avec des systèmes avancés d’intelligence artificielle implémentés sur des ordinateurs rapides et parallèles ? D’après notre expérience quotidienne, nous savons que pour de nombreuses tâches, la réponse est oui. Pourquoi en est-il ainsi et, compte tenu de cette réponse affirmative, peut-on construire un nouveau type d’intelligence artificielle efficace inspirée du cerveau ? Dans un article publié aujourd’hui dans Rapports scientifiquesdes chercheurs de l’Université Bar-Ilan en Israël résolvent cette énigme.

« Nous avons montré qu’un apprentissage efficace sur une architecture d’arbre artificiel, où chaque poids a une seule route vers une unité de sortie, peut atteindre de meilleurs taux de réussite de classification que ceux obtenus auparavant par les architectures DL composées de plus de couches et de filtres. Cette découverte ouvre la voie pour de nouveaux matériels et algorithmes d’IA efficaces et biologiquement inspirés », a déclaré le professeur Ido Kanter, du département de physique de Bar-Ilan et du centre de recherche multidisciplinaire sur le cerveau de Gonda (Goldschmied), qui a dirigé la recherche.

« Les architectures d’arbres hautement élagués représentent une étape vers une réalisation biologique plausible d’un apprentissage efficace des arbres dendritiques par un ou plusieurs neurones, avec une complexité et une consommation d’énergie réduites, et la réalisation biologique du mécanisme de rétropropagation, qui est actuellement la technique centrale de l’IA », a ajouté Yuval Meir, un Ph.D. étudiant et contributeur à ce travail.

Efficace apprentissage de l’arbre dendritique est basé sur des recherches antérieures de Kanter et de son équipe de recherche expérimentale – et menées par le Dr Roni Vardi – indiquant des preuves d’une adaptation sous-dendritique à l’aide de cultures neuronalesainsi que d’autres propriétés anisotropes des neurones, comme différentes formes d’onde de pointe, réfractaire périodes et débits de transmission maximaux.

La mise en œuvre efficace de l’entraînement d’arbres hautement élagués nécessite un nouveau type de matériel qui diffère des GPU émergents qui sont mieux adaptés à la stratégie DL actuelle. L’émergence d’un nouveau matériel est nécessaire pour imiter efficacement la dynamique cérébrale.