Des chercheurs montrent comment l'élagage du réseau peut fausser les modèles d'apprentissage en profondeur

Des chercheurs montrent comment l’élagage du réseau peut fausser les modèles d’apprentissage en profondeur

Crédit : Pixabay/CC0 Domaine public

Des chercheurs en informatique ont démontré qu’une technique largement utilisée appelée élagage de réseau de neurones peut nuire aux performances des modèles d’apprentissage en profondeur, détaillé les causes de ces problèmes de performances et démontré une technique pour relever le défi.

L’apprentissage en profondeur est un type d’intelligence artificielle qui peut être utilisé pour classer des choses, comme des images, du texte ou du son. Par exemple, il peut être utilisé pour identifier des individus sur la base d’images faciales. Cependant, les modèles d’apprentissage en profondeur nécessitent souvent beaucoup de ressources informatiques pour fonctionner. Cela pose des problèmes lorsqu’un modèle d’apprentissage en profondeur est mis en pratique pour certaines applications.

Pour relever ces défis, certains systèmes s’engagent dans « l’élagage du réseau neuronal ». Cela rend effectivement le modèle d’apprentissage en profondeur plus compact et, par conséquent, capable de fonctionner tout en utilisant moins de ressources informatiques.

« Cependant, nos recherches montrent que cet élagage du réseau peut altérer la capacité des modèles d’apprentissage en profondeur à identifier certains groupes », déclare Jung-Eun Kim, co-auteur d’un article sur le travail et professeur adjoint d’informatique à l’État de Caroline du Nord. Université.

« Par exemple, si un système de sécurité utilise l’apprentissage en profondeur pour scanner les visages des personnes afin de déterminer s’ils ont accès à un bâtiment, le modèle d’apprentissage en profondeur devrait être compact afin qu’il puisse fonctionner efficacement. Cela peut fonctionner correctement la plupart du temps. le temps, mais l’élagage du réseau pourrait également affecter la capacité du modèle d’apprentissage en profondeur à identifier certains visages. »

Dans leur nouvel article, les chercheurs expliquent pourquoi l’élagage du réseau peut affecter négativement les performances du modèle lors de l’identification de certains groupes – que la littérature appelle des « groupes minoritaires » – et démontrent une nouvelle technique pour relever ces défis.

Deux facteurs expliquent comment l’élagage du réseau peut nuire aux performances des modèles d’apprentissage en profondeur.

En termes techniques, ces deux facteurs sont : la disparité des normes de gradient entre les groupes ; et la disparité des normes de Hesse associées aux inexactitudes des données d’un groupe. Concrètement, cela signifie que les modèles d’apprentissage en profondeur peuvent devenir moins précis dans la reconnaissance de catégories spécifiques d’images, de sons ou de textes. Plus précisément, l’élagage du réseau peut amplifier les défauts de précision qui existaient déjà dans le modèle.

Par exemple, si un modèle d’apprentissage en profondeur est formé pour reconnaître les visages à l’aide d’un ensemble de données qui comprend les visages de 100 personnes blanches et 60 personnes asiatiques, il pourrait être plus précis pour reconnaître les visages blancs, mais pourrait toujours atteindre des performances adéquates pour reconnaître les visages asiatiques. . Après l’élagage du réseau, le modèle est plus susceptible d’être incapable de reconnaître certains visages asiatiques.

« La déficience n’était peut-être pas perceptible dans le modèle d’origine, mais comme elle est amplifiée par l’élagage du réseau, la déficience peut devenir perceptible », explique Kim.

« Pour atténuer ce problème, nous avons démontré une approche qui utilise des techniques mathématiques pour égaliser les groupes que le modèle d’apprentissage en profondeur utilise pour catégoriser les échantillons de données », explique Kim. « En d’autres termes, nous utilisons des algorithmes pour combler l’écart de précision entre les groupes. »

Lors des tests, les chercheurs ont démontré que l’utilisation de leur technique d’atténuation améliorait l’équité d’un modèle d’apprentissage en profondeur qui avait subi un élagage du réseau, le ramenant essentiellement aux niveaux de précision d’avant l’élagage.

« Je pense que l’aspect le plus important de ce travail est que nous avons maintenant une compréhension plus approfondie de la manière exacte dont l’élagage du réseau peut influencer les performances des modèles d’apprentissage en profondeur pour identifier les groupes minoritaires, à la fois théoriquement et empiriquement », déclare Kim. « Nous sommes également ouverts à travailler avec des partenaires pour identifier les impacts inconnus ou négligés des techniques de réduction de modèles, en particulier dans les applications du monde réel pour les modèles d’apprentissage en profondeur. »

L’article, « L’élagage a un impact disparate sur la précision du modèle », sera présenté à la 36e conférence sur les systèmes de traitement de l’information neuronale (NeurIPS 2022), qui se tiendra du 28 novembre au 28 décembre. 9 à la Nouvelle-Orléans. Le premier auteur de l’article est Cuong Tran de l’Université de Syracuse. L’article a été co-écrit par Ferdinando Fioretto de Syracuse et par Rakshit Naidu de l’Université Carnegie Mellon.

Plus d’information:
« L’élagage a un impact disparate sur la précision du modèle » Présenté : 28 nov.-déc. 9, 36e conférence sur les systèmes de traitement de l’information neuronale (NeurIPS 2022)

Fourni par l’Université d’État de Caroline du Nord