Nouveau mécanisme hors du cœur introduit pour la formation de réseau neuronal à grande échelle

Une équipe de recherche a introduit un nouveau mécanisme hors du cœur, Capsule, pour une formation GNN à grande échelle, qui peut atteindre jusqu’à une amélioration de 12,02 × l’efficacité du temps d’exécution, tout en utilisant seulement 22,24% de la mémoire principale, par rapport aux systèmes GNN hors core SOTA. Ce travail a été publié dans le Actes de l’ACM sur la gestion des données .La équipe a inclus le Data Darkness Lab (DDL) au Medical Imaging Intelligence and Robotics Research Center de l’Université des sciences et de la technologie de la Chine (USTC) Suzhou Institute.

Les réseaux de neurones graphiques (GNNS) ont démontré des forces dans des domaines tels que les systèmes de recommandation, le traitement du langage naturel, la chimie informatique et la bioinformatique. Cadres de formation populaires pour GNNS, tels que DGL et PYG, exploitent la puissance de traitement parallèle du GPU pour extraire les informations structurelles des données du graphique.

Malgré ses avantages de calcul offerts par les GPU dans la formation GNN, la capacité de mémoire du GPU limitée a du mal pour s’adapter aux données des graphiques à grande échelle, faisant de l’évolutivité un défi important pour les systèmes GNN existants. Pour résoudre ce problème, l’équipe DDL a proposé un nouveau cadre de formation GNN hors noyau (OOC), Capsule, qui fournit une solution pour la formation GNN à grande échelle.

Contrairement aux frameworks gnn hors core existants, Capsule élimine les frais généraux d’E / S entre le CPU et le GPU pendant le processus de rétropropagation en utilisant les stratégies de partitionnement et d’élagage des graphiques, garantissant ainsi que les structures de sous-graphes d’entraînement et leurs fonctionnalités correspondent complètement à la mémoire GPU. Cela augmente les performances du système.

De plus, Capsule optimise les performances davantage en concevant un mécanisme de chargement de sous-graphe basé sur le cycle hamiltonien le plus court et une stratégie parallèle pipeline. De plus, Capsule est plug-and-play et peut s’intégrer de manière transparente aux cadres de formation GNN open-source traditionnels.

Dans les tests utilisant des ensembles de données de graphiques réels à grande échelle, Capsule a surpassé les meilleurs systèmes existants, atteignant jusqu’à une amélioration des performances de 12,02x tout en utilisant seulement 22,24% de la mémoire. Il fournit également une limite supérieure théorique pour la variance des intérêts produits pendant la formation.

Ce travail fournit une nouvelle approche des structures graphiques colossales traitées et des capacités de mémoire limitées des GPU.