Des scientifiques montrent comment le mécanisme d’apprentissage superficiel utilisé par le cerveau peut rivaliser avec l’apprentissage profond

Les techniques d’apprentissage des réseaux neuronaux proviennent de la dynamique du cerveau. Cependant, ces deux scénarios, l’apprentissage cérébral et l’apprentissage profond, sont intrinsèquement différents. L’une des différences les plus importantes réside dans le nombre de couches que chacun possède.

Les architectures d’apprentissage profond se composent généralement de nombreuses couches qui peuvent être augmentées jusqu’à des centaines, permettant un apprentissage efficace de tâches de classification complexes. En revanche, le cerveau est constitué de très peu de couches, mais malgré son architecture peu profonde et sa dynamique bruyante et lente, il peut effectuer efficacement des tâches de classification complexes.

La question cruciale qui motive les nouvelles recherches est le mécanisme possible qui sous-tend l’apprentissage superficiel efficace du cerveau, lui permettant d’effectuer des tâches de classification avec la même précision que l’apprentissage profond. Dans un article publié dans Physica A : Mécanique statistique et ses applicationsdes chercheurs de l’Université Bar-Ilan en Israël montrent comment de tels mécanismes d’apprentissage superficiel peuvent rivaliser avec l’apprentissage profond.

« Au lieu d’une architecture profonde, comme un gratte-ciel, le cerveau est constitué d’une architecture large et peu profonde, ressemblant davantage à un bâtiment très large avec seulement très peu d’étages », a déclaré le professeur Ido Kanter du département de physique de Bar-Ilan et de Gonda (Goldschmied). Centre multidisciplinaire de recherche sur le cerveau, qui a dirigé la recherche.

« La capacité à classer correctement les objets augmente là où l’architecture devient plus profonde, avec plus de couches. En revanche, le mécanisme superficiel du cerveau indique qu’un réseau plus large classe mieux les objets », a déclaré Ronit Gross, étudiant de premier cycle et l’un des principaux contributeurs à cette étude. travail. « Les architectures plus larges et plus hautes représentent deux mécanismes complémentaires », a-t-elle ajouté.

Néanmoins, la réalisation d’architectures très larges et peu profondes, imitant la dynamique du cerveau, nécessite un changement dans les propriétés de la technologie GPU avancée, qui est capable d’accélérer l’architecture profonde, mais échoue dans la mise en œuvre d’architectures larges et peu profondes.