Élagage efficace pour réduire la mémoire d'IA et le coût de calcul
Les systèmes d'apprentissage en profondeur et d'IA ont fait de grands progrès ces dernières années, en particulier dans leurs capacités d'automatisation des tâches de calcul complexes telles que la reconnaissance d'image, la vision par ordinateur et le traitement du langage naturel. Pourtant, ces systèmes sont composés de milliards de paramètres et nécessitent une grande utilisation de la mémoire ainsi que des coûts de calcul coûteux.
Cette réalité soulève la question: pouvons-nous optimiser, ou plus correctement, l'élagage, les paramètres de ces systèmes sans compromettre leurs capacités? Dans une étude qui vient d'être publiée dans Revue physique E Par des chercheurs de l'Université Bar-Ilan, la réponse est un oui retentissant.
Dans l'article, les chercheurs montrent comment une meilleure compréhension du mécanisme qui sous-tend un apprentissage profond réussi conduit à une élagage efficace de paramètres inutiles dans une architecture profonde sans affecter ses performances.
« Tout dépend d'une compréhension initiale de ce qui se passe dans les réseaux profonds, de la façon dont ils apprennent et quels paramètres sont essentiels à son apprentissage », a déclaré le professeur Ido Kanter, du département de physique de Bar-Ilan et de Gonda (Goldschmied) Multidisciplinary Brain Research Center, qui a mené la recherche.
« C'est la réalité omniprésente de la recherche scientifique. Plus nous en savons, mieux nous comprenons, et à notre tour, mieux la technologie que nous pouvons créer. »
« Il existe de nombreuses méthodes qui tentent d'améliorer la mémoire et l'utilisation des données », a déclaré Ph.D. Étudiant Yarden Tzach, un contributeur clé à cette recherche.
« Ils ont pu améliorer l'utilisation de la mémoire et la complexité de calcul, mais notre méthode a pu tailler jusqu'à 90% des paramètres de certaines couches, sans entraver la précision du système. »
Ces résultats peuvent conduire à une meilleure utilisation des systèmes d'IA, à la fois en mémoire que dans la consommation d'énergie. À mesure que l'IA devient de plus en plus répandue dans notre vie quotidienne, la réduction de son coût énergétique sera de la plus haute importance.
