Contourner une frustration de longue date dans l'informatique neuronale
Le cerveau humain commence à apprendre par le biais d’activités aléatoires spontanées, avant même de recevoir des informations sensorielles du monde extérieur. Une nouvelle technologie développée par l'équipe de recherche KAIST permet un apprentissage beaucoup plus rapide et précis lorsqu'elle est exposée à des données réelles en pré-apprenant des informations aléatoires dans un réseau neuronal artificiel imitant le cerveau, et devrait constituer une percée dans le développement de systèmes basés sur le cerveau. l'intelligence artificielle et la technologie informatique neuromorphique à l'avenir.
L'équipe de recherche du professeur Se-Bum Paik du Département des sciences cognitives du cerveau a résolu le problème du transport de poids, un défi de longue date dans l'apprentissage des réseaux neuronaux, et a ainsi expliqué les principes qui permettent un apprentissage économe en ressources dans les réseaux neuronaux du cerveau biologique. Les résultats sont publiés sur le arXiv serveur de préimpression.
Au cours des dernières décennies, le développement de l’intelligence artificielle s’est basé sur l’apprentissage par rétropropagation des erreurs proposé par Geoffery Hinton, lauréat du prix Nobel de physique cette année. Cependant, l’apprentissage par rétro-propagation des erreurs était considéré comme impossible dans les cerveaux biologiques, car il nécessite l’hypothèse irréaliste selon laquelle les neurones individuels doivent connaître toutes les informations connectées sur plusieurs couches afin de calculer le signal d’erreur pour l’apprentissage.
Ce problème difficile, appelé problème de transport de poids, a été soulevé par Francis Crick, qui a remporté le prix Nobel de physiologie ou médecine pour la découverte de la structure de l'ADN, après que l'apprentissage par rétro-propagation des erreurs ait été proposé par Hinton en 1986. Depuis lors, il a été considérée comme la raison pour laquelle les principes de fonctionnement des réseaux de neurones naturels et des réseaux de neurones artificiels seront à jamais fondamentalement différents.
À la frontière de l’intelligence artificielle et des neurosciences, des chercheurs, dont Hinton, ont continué à tenter de créer des modèles biologiquement plausibles capables de mettre en œuvre les principes d’apprentissage du cerveau en résolvant le problème du transport de poids.
En 2016, une équipe de recherche conjointe de l’Université d’Oxford et de DeepMind au Royaume-Uni a proposé pour la première fois le concept selon lequel l’apprentissage par rétro-propagation des erreurs serait possible sans transport de poids, attirant ainsi l’attention du monde universitaire. Cependant, l’apprentissage par rétropropagation d’erreurs biologiquement plausible sans transport de poids était inefficace, avec des vitesses d’apprentissage lentes et une faible précision, ce qui le rendait difficile à appliquer dans la réalité.
L’équipe de recherche de KAIST a noté que le cerveau biologique commence à apprendre grâce à une activité neuronale aléatoire spontanée interne avant même de vivre des expériences sensorielles externes. Pour imiter cela, l’équipe de recherche a pré-entraîné un réseau neuronal biologiquement plausible sans transport de poids avec des informations aléatoires dénuées de sens (bruit aléatoire).
En conséquence, ils ont montré que la symétrie des connexions des cellules neuronales vers l’avant et vers l’arrière du réseau neuronal, qui est une condition essentielle pour l’apprentissage par rétro-propagation des erreurs, peut être créée. En d’autres termes, l’apprentissage sans transport de poids est possible grâce à un pré-entraînement aléatoire.
L'équipe de recherche a révélé que l'apprentissage d'informations aléatoires avant d'apprendre des données réelles possède la propriété du méta-apprentissage, qui consiste à « apprendre à apprendre ». Il a été démontré que les réseaux neuronaux qui ont pré-appris le bruit aléatoire effectuent un apprentissage beaucoup plus rapide et plus précis lorsqu'ils sont exposés. aux données réelles et peut atteindre une efficacité d'apprentissage élevée sans transport de poids.
Le professeur Se-Bum Paik a déclaré : « Cela brise la compréhension conventionnelle de l'apprentissage automatique existant selon laquelle seul l'apprentissage des données est important, et offre une nouvelle perspective qui se concentre sur les principes des neurosciences consistant à créer des conditions appropriées avant l'apprentissage.
« Il est important dans le sens où il résout des problèmes importants dans l'apprentissage des réseaux neuronaux artificiels grâce à des indices issus des neurosciences du développement, et donne en même temps un aperçu des principes d'apprentissage du cerveau grâce à des modèles de réseaux neuronaux artificiels. »
