Analyse de graphiques Le modèle AI réalise une formation jusqu'à 95 fois plus rapidement sur un seul GPU
Parallèlement à des modèles de langage grand texte (LLMS), y compris le chat de chat de chatte dans les champs industriels, les modèles GNN (Graph Neural Network) basés sur un graphique AI qui analysent des données non structurées telles que les transactions financières, les actions, les médias sociaux et les dossiers des patients sous forme de graphique sont largement utilisés. Cependant, il y a une limitation, dans cette apprentissage du graphique complet – en train de suivre l'intégralité du graphique – requise de la mémoire massive et des serveurs GPU.
Une équipe de recherche kaist a maintenant réussi à développer une technologie logicielle qui peut former des modèles GNN à grande échelle à une vitesse maximale en utilisant un seul serveur GPU. L'étude est publiée dans le Actes de la 31e conférence ACM SIGKDD sur la découverte des connaissances et l'exploration de données V.2.
L'équipe de recherche, dirigée par le professeur Min-Soo Kim de l'École d'informatique, a développé Flexgnn, un système GNN qui – contrairement aux méthodes existantes utilisant plusieurs serveurs GPU – peut rapidement former et déduire les modèles AI à grande échelle à grande échelle sur un seul serveur GPU. Flexgnn améliore la vitesse de formation jusqu'à 95 fois par rapport aux technologies existantes.
Récemment, dans divers domaines tels que le climat, la finance, la médecine, les produits pharmaceutiques, la fabrication et la distribution, il y a eu un nombre croissant de cas où les données sont converties sous forme graphique, composée de nœuds et de bords, pour l'analyse et la prédiction.
Bien que l'approche du graphique complète, qui utilise l'intégralité du graphique de la formation, atteint une précision plus élevée, il a l'inconvénient de manquer fréquemment de mémoire en raison de la génération de données intermédiaires massives pendant la formation, ainsi que des temps de formation prolongés causés par la communication de données entre plusieurs serveurs.
Pour surmonter ces problèmes, FLEXGNN effectue une formation optimale sur le modèle d'IA sur un seul serveur GPU en utilisant des SSD (disques à l'état solide) et de la mémoire principale au lieu de plusieurs serveurs GPU.
Grâce à la formation d'optimisation des requêtes sur l'IA – qui optimise la qualité des systèmes de base de données – l'équipe a développé une nouvelle technologie d'optimisation de la formation qui calcule les paramètres du modèle, les données de formation et les données intermédiaires entre le GPU, la mémoire principale et les couches SSD au moment et à la méthode optimaux.
En conséquence, FlexGNN génère de manière flexible des plans d'exécution de formation optimaux en fonction des ressources disponibles telles que la taille des données, l'échelle du modèle et la mémoire GPU, atteignant ainsi une efficacité des ressources et une vitesse de formation élevées.
Par conséquent, il est devenu possible de former des modèles GNN sur les données dépassant de loin la capacité de mémoire principale, et la formation pourrait être jusqu'à 95 fois plus rapide même sur un seul serveur GPU. En particulier, la réalisation de l'IA à graphe complet, capable d'une analyse plus précise que les supercalculateurs dans des applications telles que la prédiction climatique, est devenue une réalité.
Le professeur Kim a déclaré: « Comme les modèles GNN à graphe complet sont activement utilisés pour résoudre des problèmes complexes tels que la prédiction météorologique et la découverte de nouvelles matières, l'importance des technologies connexes augmente. »
Il a ajouté: « Étant donné que Flexgnn a considérablement résolu les problèmes de longue date de l'échelle de formation et de la vitesse dans les modèles Graph IA, nous nous attendons à ce qu'il soit largement utilisé dans diverses industries. »
Dans cette recherche, Jeongmin Bae, un doctorant à l'École d'informatique de Kaist, a participé en tant que premier auteur, Donghyoung Han, CTO de Graphai Co. (fondé par le professeur Kim) a participé en tant que deuxième auteur, et le professeur Kim a été l'auteur correspondant.
