Des chercheurs démontrent l’évolutivité des réseaux neuronaux graphiques sur les systèmes informatiques les plus puissants au monde

Résoudre les défis scientifiques les plus complexes d’aujourd’hui signifie souvent établir des liens entre des centaines, des milliers, voire des millions de variables. Plus l’ensemble de données scientifiques est vaste, plus ces connexions deviennent complexes.

Avec des expériences générant des pétaoctets, voire des exaoctets de données au fil du temps, suivre les connexions dans des processus tels que la découverte de médicaments, le développement de matériaux ou la cybersécurité peut s’avérer une tâche herculéenne.

Heureusement, avec l’avènement de l’intelligence artificielle, les chercheurs peuvent s’appuyer sur les réseaux de neurones graphiques, ou GNN, pour cartographier les connexions et démêler leurs relations, accélérant ainsi considérablement le temps de recherche de solutions et, par extension, de découverte scientifique.

Les chercheurs des laboratoires nationaux d’Oak Ridge et de Lawrence Berkeley (ORNL et LBNL) du ministère de l’Énergie développent des GNN pour les adapter aux ressources informatiques les plus puissantes du pays, une étape nécessaire pour relever les défis scientifiques actuels centrés sur les données.

Massimiliano « Max » Lupo Pasini, Jong Youl Choi et Pei Zhang de l’ORNL ont partagé les conclusions de l’équipe multi-institutionnelle lors de la conférence Learning on Graphs 2023, un événement virtuel qui a eu lieu du 27 au 30 novembre 2023. Leur tutoriel, « Scalable graph neural formation réseau utilisant des installations HPC et de supercalcul », a illustré comment faire évoluer les GNN sur les systèmes informatiques de pointe du DOE.

Plus précisément, l’équipe a démontré la mise à l’échelle d’HydraGNN sur le système Perlmutter du National Energy Research Scientific Computing Center de LBNL ainsi que sur les supercalculateurs Summit et Frontier de l’Oak Ridge Leadership Computing Facility. Frontier est le premier système exascale au monde et est actuellement classé comme l’ordinateur le plus puissant au monde.

HydraGNN est une implémentation d’architectures GNN de marque ORNL qui vise à produire des prédictions rapides et précises des propriétés des matériaux. Il utilise les informations atomiques en faisant abstraction de la structure en treillis d’un matériau solide sous forme de graphique, où les atomes sont représentés par des nœuds et les liaisons métalliques par des arêtes. Cette représentation intègre naturellement des informations sur la structure du matériau, éliminant ainsi le besoin d’un prétraitement de données coûteux en termes de calcul, requis par les réseaux de neurones plus traditionnels.

« Les progrès scientifiques nécessitent la découverte et la conception de matériaux dotés de propriétés mécaniques et thermodynamiques améliorées, et HydraGNN est un modèle de substitution prometteur. Une fois formé sur de grands volumes de données de principes premiers, le modèle peut fournir des estimations rapides et précises des propriétés des matériaux à une fraction du coût. temps de calcul nécessaire avec des modèles basés sur la physique de pointe », a déclaré Pasini, chercheur à la Division des sciences informatiques et de l’ingénierie de l’ORNL. « La vitesse améliorée à laquelle HydraGNN produit des prédictions permet une capacité exploratoire unique pour une découverte et une conception efficaces de matériaux. »

Le didacticiel de l’équipe était divisé en cinq sections. Le premier a mis en évidence les applications scientifiques qui motivent le développement de modèles de substitution GNN évolutifs pour accélérer l’étude de systèmes complexes de physique et d’ingénierie. La seconde a introduit la nécessité d’utiliser de grands volumes de données scientifiques pour faire évoluer les GNN sur les installations de calcul intensif de premier plan du DOE. Le troisième couvrait l’évolutivité et la flexibilité d’HydraGNN, ce qui le rend portable sur plusieurs systèmes du DOE. La quatrième couvrait des exemples d’exécution d’HydraGNN sur des ensembles de données open source, et la cinquième et dernière section consistait en un didacticiel et des remarques finales.

Le didacticiel a été diffusé en direct sur YouTube et est disponible à partir de 1:01:00. Les capacités améliorées d’HydraGNN ont également été récemment documentées dans un manuel d’utilisation rendu public via un rapport technique ORNL.

La recherche fait partie de l’IA Initiative de l’ORNL, un investissement interne dédié à garantir une IA sûre, fiable et économe en énergie au service de la recherche scientifique et de la sécurité nationale. Grâce à cette initiative, les chercheurs de l’ORNL exploitent l’infrastructure informatique et les capacités logicielles du laboratoire pour accélérer la recherche de solutions et réaliser le potentiel de l’IA dans des projets d’importance nationale et internationale.

Par exemple, l’initiative a aidé des équipes multidisciplinaires à démontrer que les algorithmes d’apprentissage automatique peuvent être utilisés pour extraire des informations de signaux présentant un faible rapport signal/bruit, à développer des algorithmes capables d’accélérer la modélisation et la simulation avec peu de données d’entraînement et à concevoir de nouveaux dispositifs neuromorphiques biomimétiques capables de détecter les crises d’épilepsie.

« La mise à l’échelle des réseaux de neurones graphiques présente des défis uniques », a déclaré Prasanna Balaprakash, directrice de l’Initiative IA de l’ORNL. « Capables d’être formés sur de vastes ensembles de données scientifiques, ces modèles ouvrent la voie à un large éventail d’applications en aval, notamment dans le développement de nouveaux matériaux et la découverte de médicaments. Cette réalisation souligne notre engagement à développer une IA non seulement puissante, mais également économe en énergie et évolutif, garantissant que nous restons à l’avant-garde de la recherche scientifique et de la sécurité nationale.