Une approche d'élagage pour la conception de réseaux neuronaux optimisée pour des configurations matérielles spécifiques

L'élagage des réseaux neuronaux est une technique clé pour déployer des modèles d'intelligence artificielle (IA) basés sur des réseaux neuronaux profonds (DNN) sur des plateformes aux ressources limitées, telles que les appareils mobiles. Cependant, les conditions matérielles et la disponibilité des ressources varient considérablement selon les plateformes, ce qui rend essentiel la conception de modèles élagués adaptés de manière optimale à des configurations matérielles spécifiques.

L'élagage des réseaux neuronaux prenant en compte le matériel offre un moyen efficace d'automatiser ce processus, mais il nécessite d'équilibrer plusieurs objectifs contradictoires, tels que la précision du réseau, la latence d'inférence et l'utilisation de la mémoire, que les méthodes mathématiques traditionnelles ont du mal à résoudre.

Dans une étude publiée dans la revue Recherche fondamentaleun groupe de chercheurs de Shenzhen, en Chine, présente une nouvelle approche d'élagage de réseau neuronal prenant en compte le matériel et basée sur une optimisation évolutive multi-objectif.

« Nous proposons d'utiliser des algorithmes évolutifs multi-objectifs (MOEA) pour résoudre le problème d'élagage du réseau neuronal matériel », explique Ke Tang, auteur principal et correspondant de l'étude.

Par rapport aux algorithmes d'optimisation classiques, les MOEA présentent deux avantages pour résoudre ce problème. Le premier est qu'ils ne nécessitent pas d'hypothèses particulières telles que la différentiabilité ou la continuité, et qu'ils possèdent une forte capacité d'optimisation de type boîte noire. L'autre est leur capacité à trouver plusieurs solutions Pareto-optimales en une seule simulation, ce qui est très utile dans la pratique car cela offre une flexibilité pour répondre aux différentes exigences des utilisateurs.

« Concrètement, une fois qu'un tel ensemble de solutions a été trouvé, les utilisateurs finaux peuvent facilement choisir leurs configurations préférées de compression DNN, telles que la latence en premier ou la consommation de mémoire en premier, en un seul clic sur les solutions correspondantes », ajoute Tang.

Les résultats de l'équipe ont également révélé que même si les algorithmes évolutifs multi-objectifs présentent un potentiel important, ils souffrent toujours d'une faible efficacité de recherche. À cette fin, les chercheurs ont développé un nouveau MOEA, à savoir l'élagage évolutif multi-objectifs sensible au matériel (HAMP), pour résoudre ce problème.

« Il s'agit d'un MOEA mémétique qui combine une sélection efficace basée sur un portefeuille et un opérateur de recherche locale assisté par un substitut. HAMP est actuellement la seule approche d'élagage de réseau capable de gérer efficacement plusieurs retours directs et précisions matérielles simultanément », explique le premier auteur Wenjing Hong. « Des études expérimentales sur le mobile NVIDIA Jetson Nano démontrent l'efficacité de HAMP par rapport à l'état de l'art et le potentiel des MOEA pour l'élagage de réseau sensible au matériel. »

Les résultats de l’équipe montrent que HAMP parvient non seulement à trouver des solutions meilleures sur tous les objectifs, mais fournit également simultanément un ensemble de solutions alternatives.

« Ces solutions présentent différents compromis entre la latence, la consommation de mémoire et la précision, et peuvent donc faciliter un déploiement rapide des DNN dans la pratique », conclut Hong.

Fourni par KeAi Communications Co.