L'algorithme VFF-Net offre une alternative prometteuse à la rétropropagation pour la formation en IA

Les réseaux de neurones profonds (DNN), qui alimentent les modèles d'intelligence artificielle (IA) modernes, sont des systèmes d'apprentissage automatique qui apprennent des modèles cachés à partir de divers types de données, qu'il s'agisse d'images, d'audio ou de texte, pour effectuer des prédictions ou des classifications. Les DNN ont transformé de nombreux domaines grâce à leur précision de prédiction remarquable. La formation des DNN repose généralement sur la rétropropagation (BP).

Bien qu'il soit devenu indispensable au succès des DNN, BP présente plusieurs limites, telles qu'une convergence lente, un surajustement, des exigences de calcul élevées et sa nature de boîte noire.

Récemment, les réseaux forward-forward (FFN) sont apparus comme une alternative prometteuse, dans laquelle chaque couche est formée individuellement, en contournant BP. Cependant, l’application des FFN aux réseaux de neurones convolutifs (CNN), largement utilisés pour l’analyse d’images, s’est avérée difficile.

Pour relever ce défi, une équipe de recherche dirigée par M. Gilha Lee et le professeur agrégé Hyun Kim du Département de génie électrique et de l'information de l'Université nationale des sciences et technologies de Séoul a développé un nouvel algorithme de formation, appelé réseau visuel avant-vers (VFF-Net). L'équipe comprenait également M. Jin Shin.

Leur étude est publiée dans Réseaux de neurones.

Expliquant le défi du FNN pour la formation des CNN, M. Lee déclare : « L'application directe de FFN pour la formation des CNN peut entraîner une perte d'informations dans les images d'entrée, réduisant ainsi la précision. De plus, pour les CNN à usage général avec de nombreuses couches convolutives, la formation individuelle de chaque couche peut entraîner des problèmes de performances. Notre VFF-Net résout efficacement ces problèmes. »

VFF-Net introduit trois nouvelles méthodologies : l'étiquetage du bruit par étiquette (LWNL), la perte contrastive basée sur la similarité cosinus (CSCL) et le regroupement de couches (LG).

Dans LWNL, le réseau est formé sur trois types de données : l'image originale sans aucun bruit, les images positives avec des étiquettes correctes et les images négatives avec des étiquettes incorrectes. Cela permet d'éliminer la perte d'informations sur les pixels dans les images d'entrée.

CSCL modifie l'algorithme glouton conventionnel basé sur la qualité, en appliquant une fonction de perte contrastive basée sur la similarité cosinusoïdale entre les cartes de caractéristiques. Essentiellement, il compare la similarité entre deux représentations de caractéristiques en fonction de la direction des modèles de données. Cela permet de préserver les informations spatiales significatives nécessaires à la classification des images.

Enfin, LG résout le problème de la formation de couches individuelles en regroupant les couches ayant les mêmes caractéristiques de sortie et en ajoutant des couches auxiliaires, améliorant ainsi considérablement les performances.

Grâce à ces innovations, VFF-Net améliore considérablement les performances de classification des images par rapport aux FFN classiques. Pour un modèle CNN à quatre couches convolutives, les erreurs de test sur les ensembles de données CIFAR-10 et CIFAR-100 ont été réduites de 8,31 % et 3,80 %, respectivement. De plus, le VFF-Net entièrement connecté basé sur des couches a obtenu une erreur de test de seulement 1,70 % sur l’ensemble de données MNIST.

« En s'éloignant de BP, VFF-Net ouvre la voie à des méthodes d'entraînement plus légères et plus cérébrales qui ne nécessitent pas de ressources informatiques étendues », explique le Dr Kim.

« Cela signifie que de puissants modèles d'IA pourraient fonctionner directement sur des appareils personnels, des appareils médicaux et des appareils électroniques domestiques, réduisant ainsi la dépendance à l'égard des centres de données énergivores et rendant l'IA plus durable. »

Dans l’ensemble, VFF-Net permettra à l’IA de devenir plus rapide et moins chère, tout en permettant un apprentissage plus naturel, semblable à celui du cerveau, facilitant ainsi des systèmes d’IA plus fiables.