Une théorie unificatrice potentielle pour les phénomènes clés de l’apprentissage en profondeur

Comment fonctionnent les réseaux de neurones? C’est une question qui peut confondre les novices et les experts. Une équipe du MIT en matière d’informatique et de laboratoire d’intelligence artificielle (CSAIL) dit que la compréhension de ces représentations, ainsi que la façon dont elles éclairent les moyens que les réseaux de neurones apprennent des données, est crucial pour améliorer l’interprétabilité, l’efficacité et la généralisation des modèles d’apprentissage en profondeur.

Avec cet esprit, les chercheurs de CSAIL ont développé un nouveau cadre pour comprendre comment les représentations se forment dans les réseaux de neurones. Leur hypothèse de représentation canonique (CRH) postule que, pendant l’entraînement, les réseaux de neurones alignent intrinsèquement leurs représentations, poids et gradients de neurone latente dans chaque couche. Cet alignement implique que les réseaux de neurones apprennent naturellement des représentations compactes en fonction du degré et des modes de déviation par rapport à la CRH.

L’auteur principal Tomaso Poggio dit qu’en comprenant et en tirant parti de cet alignement, les ingénieurs peuvent potentiellement concevoir des réseaux plus efficaces et plus faciles à comprendre. La recherche est publiée dans le arxiv serveur de préimprimée.

L’hypothèse d’alignement polynomial correspondant de l’équipe (HAP) postule que, lorsque la CRH est brisée, des phases distinctes émergent dans lesquelles les représentations, les gradients et les poids deviennent des fonctions polynomiales les unes des autres. Poggio dit que la CRH et la HAP offrent une théorie unificatrice potentielle pour les phénomènes clés de l’apprentissage en profondeur tels que l’effondrement neuronal et la caractéristique neuronale Ansatz (NFA).

Le nouveau document CSAIL sur le projet fournit des résultats expérimentaux dans divers paramètres pour soutenir la CRH et la HAP sur les tâches qui incluent la classification d’image et l’apprentissage auto-supervisé. Le CRH suggère des possibilités d’injecter manuellement le bruit dans les gradients de neurone pour concevoir des structures spécifiques dans les représentations du modèle. Poggio dit qu’une direction future clé est de comprendre les conditions qui mènent à chaque phase et comment ces phases affectent le comportement et les performances des modèles.

« Le document offre une nouvelle perspective sur la compréhension de la formation de représentations dans les réseaux de neurones à travers la CRH et la HAP », explique Poggio. « Cela fournit un cadre pour unifier les observations existantes et guider les recherches futures dans l’apprentissage en profondeur. »

Le co-auteur Liu Ziyin, un postdoc au CSAIL, a déclaré que la CRH peut expliquer certains phénomènes en neurosciences, car cela implique que les réseaux de neurones ont tendance à apprendre une représentation orthogonalisée, qui a été observée dans les études récentes du cerveau. Il peut également avoir des implications algorithmiques: si les représentations s’alignent avec les gradients, il pourrait être possible d’injecter manuellement le bruit dans les gradients de neurones pour concevoir des structures spécifiques dans les représentations du modèle.

Ziyin et Poggio ont co-écrit le journal avec le professeur Isaac Chuang et l’ancien Tomer Postdoc Galanti, maintenant professeur adjoint d’informatique à la Texas A&M University. Ils le présenteront plus tard ce mois-ci à la Conférence internationale sur les représentations d’apprentissage (ICLR 2025) à Singapour.