Un raccourci informatique pour les réseaux de neurones

Les réseaux de neurones sont des algorithmes d’apprentissage qui se rapprochent de la solution à une tâche en s’entraînant avec les données disponibles. Cependant, on ne sait généralement pas exactement comment ils y parviennent. Deux jeunes physiciens bâlois ont maintenant dérivé des expressions mathématiques qui permettent de calculer la solution optimale sans entraîner de réseau. Leurs résultats donnent non seulement un aperçu du fonctionnement de ces algorithmes d’apprentissage, mais pourraient également aider à détecter des transitions de phase inconnues dans les systèmes physiques à l’avenir.

Les réseaux de neurones sont basés sur le principe de fonctionnement du cerveau. Ces algorithmes informatiques apprennent à résoudre des problèmes grâce à un entraînement répété et peuvent, par exemple, distinguer des objets ou traiter le langage parlé.

Depuis plusieurs années, les physiciens tentent d’utiliser les réseaux de neurones pour détecter également les transitions de phase. Les transitions de phase nous sont familières par l’expérience quotidienne, par exemple lorsque l’eau se transforme en glace, mais elles se produisent également sous une forme plus complexe entre différentes phases de matériaux magnétiques ou de systèmes quantiques, où elles sont souvent difficiles à détecter.

Julian Arnold et Frank Schäfer, deux Ph.D. les étudiants du groupe de recherche du Prof. Dr. Christoph Bruder à l’Université de Bâle, ont maintenant à eux seuls dérivé des expressions mathématiques avec lesquelles de telles transitions de phase peuvent être découvertes plus rapidement qu’auparavant. Ils ont récemment publié leurs résultats dans Examen physique X.

Sauter la formation fait gagner du temps

Un réseau de neurones apprend en faisant varier systématiquement des paramètres au cours de nombreux cycles d’entraînement afin que les prédictions calculées par le réseau correspondent de plus en plus étroitement aux données d’entraînement qui lui sont fournies. Ces données d’apprentissage peuvent être des pixels d’images ou, en fait, des résultats de mesures sur un système physique présentant des transitions de phase sur lesquelles on aimerait apprendre quelque chose.

« Les réseaux de neurones sont déjà devenus assez bons pour détecter les transitions de phase », dit Arnold, « mais comment ils le font exactement reste généralement complètement obscur. » Pour changer cette situation et faire la lumière sur la « boîte noire » d’un réseau de neurones, Arnold et Schäfer se sont penchés sur le cas particulier des réseaux avec un nombre infini de paramètres qui, en principe, passent également par une infinité de cycles de formation.

De manière générale, on sait depuis longtemps que les prédictions de tels réseaux tendent toujours vers une certaine solution optimale. Arnold et Schäfer ont pris cela comme point de départ pour dériver des formules mathématiques qui permettent de calculer directement cette solution optimale sans avoir à former le réseau. « Ce raccourci réduit énormément le temps de calcul », explique Arnold : « Le temps nécessaire pour calculer notre solution n’est aussi long qu’un seul cycle de formation d’un petit réseau. »

Aperçu du réseau

Outre le gain de temps, la méthode développée par les physiciens bâlois présente également l’avantage que les équations dérivées donnent un aperçu du fonctionnement des réseaux de neurones et, par conséquent, des systèmes physiques étudiés.

Jusqu’à présent, Arnold et Schäfer ont testé leur méthode sur des données générées par ordinateur. Bientôt, ils souhaitent également appliquer la méthode à des données de mesure réelles. À l’avenir, cela pourrait permettre de détecter des transitions de phase encore inconnues, par exemple dans des simulateurs quantiques ou dans de nouveaux matériaux.