La cartographie du cerveau de l'IA révèle que la mémoire et le raisonnement ne sont pas situés au même endroit

Les chercheurs étudiant la manière dont les grands modèles d’IA tels que ChatGPT apprennent et mémorisent des informations ont découvert que leur mémoire et leurs capacités de raisonnement occupent des parties distinctes de leur architecture interne. Leurs idées pourraient contribuer à rendre l’IA plus sûre et plus fiable.

Les modèles d'IA formés sur des ensembles de données massifs s'appuient sur au moins deux fonctionnalités de traitement majeures. Le premier est la mémoire, qui permet au système de récupérer et de réciter des informations. La seconde est le raisonnement, la résolution de nouveaux problèmes en appliquant des principes généralisés et des modèles appris. Mais jusqu’à présent, on ne savait pas si la mémoire et l’intelligence générale de l’IA étaient stockées au même endroit.

Les chercheurs de la startup Goodfire.ai ont donc décidé d’étudier la structure interne des grands modèles de langage et de vision pour comprendre leur fonctionnement.

Cartographier le cerveau de l'IA

Tout d’abord, l’équipe a utilisé une technique mathématique appelée K-FAC (Courbure approximative à facteur de Kronecker) pour identifier les composants de traitement spécifiques responsables de différentes capacités, en particulier la mémorisation par cœur dans les voies à faible courbure (voies de mémoire étroites et spécialisées) et le raisonnement flexible dans les zones à forte courbure (composants de traitement larges et partagés).

Ensuite, ils ont désactivé certaines parties de l’IA associées à la mémorisation et testé le modèle sur différentes tâches. Il s’agissait notamment de répondre à des questions factuelles et de résoudre de nouveaux problèmes. Cela leur a permis de montrer que lorsque la mémoire était désactivée, les modèles pouvaient toujours utiliser leurs capacités de raisonnement, indiquant que les deux fonctions occupent des parties distinctes de l'architecture interne de l'IA.

« Notre approche d'élagage basée sur la courbure atténue efficacement la mémorisation dans les deux tailles de modèle sans nécessiter de données d'entraînement supervisé, permettant ainsi une meilleure généralisation au contenu mémorisé invisible », ont écrit les chercheurs dans leur article publié sur le site. arXiv serveur de préimpression.

Le processus de désactivation de la mémoire a révélé un compromis surprenant. Si la résolution générale de problèmes est restée intacte, les compétences utilisées par l’IA pour les mathématiques et la mémorisation de faits isolés ont été fortement affectées. « La recherche de faits arithmétiques et à livre fermé repose davantage sur des directions à faible courbure et est affectée de manière disproportionnée par les modifications, alors que le raisonnement logique à livre ouvert et non numérique est largement préservé ou parfois amélioré », ont déclaré les auteurs.

Rendre l'IA plus sûre

Savoir exactement comment fonctionne l’IA sera essentiel pour améliorer la sécurité et accroître la confiance du public. L’un des problèmes des modèles d’IA qui mémorisent des données est qu’ils peuvent divulguer des informations privées ou des textes protégés par le droit d’auteur. Aussi, cette mémorisation peut conduire à la rétention de biais néfastes ou de contenus toxiques.

Mais ces problèmes peuvent être atténués si les ingénieurs peuvent cibler et supprimer avec précision les faits mémorisés et les voies spécialisées sans affecter l’intelligence générale de l’IA. Comprendre ces voies de mémoire pourrait également rendre les modèles d’IA plus efficaces et moins coûteux à exécuter en réduisant la quantité d’espace réseau dont ils ont besoin.