La formation de grands modèles nécessite de plus en plus de matériel. La Chine répond avec un supercluster de 100 000 cartes nationales
Il y a quelques mois, nous avons eu l’occasion de raconter les exploits du Sugon 8000, un supercluster de quelque 100 000 cartes graphiques, toutes conçues et fabriquées en Chine. Le système est situé à Zhengzhou, dans la province du Henan, et a été présenté au public lors de la Conférence nationale chinoise sur le calcul haute performance à Shenzhen, montrant plus de détails sur son fonctionnement.
La fierté de la nation. Construire une machine de cette taille signifie faire fonctionner ensemble les puces, la mise en réseau, le stockage, le refroidissement et les logiciels de programmation, et Sugon affirme que chacune de ces couches provient de fournisseurs chinois. C’est important dans un pays dont l’industrie technologique est sous la pression des États-Unis depuis des années. Précisément, selon le Federal Register des États-Unis, Sugon a été ajoutée à la liste des entités en 2019, une liste dans laquelle les entreprises ne peuvent exporter, réexporter et transférer des technologies américaines sans licence préalable.
En détails. Le cluster est le nœud central de l’Internet national de calcul intensif de Chine, un réseau national qui fournit aux universités, aux instituts de recherche et aux entreprises un accès à distance à la puissance de calcul. Sugon affirme que le cluster exécute plus de 13 000 nœuds et est proche de sa pleine charge, gérant plus de 6 000 tâches à la fois, selon les chiffres rapportés par les médias d’État chinois.
Les ingénieurs du site ont expliqué au média local Hebccw que le système occupe environ 2 000 mètres carrés, pèse environ 1 500 tonnes et contient environ 1 600 kilomètres de câblage interne.
Le problème de la chaleur. Faire fonctionner 100 000 chips à pleine vitesse produit une énorme quantité de chaleur. En fait, selon les médias, la production horaire est comparable à la combustion de 12 tonnes de charbon. La surchauffe oblige les puces à ralentir et augmente les taux de défaillance, c’est pourquoi Sugon plonge ses cartes dans un liquide fluoré non conducteur qui bout à environ 50°C. La chaleur est ensuite évacuée par un système d’eau externe.
Chaque port réseau transférerait des données à 800 Gb/s, de sorte que les puces peuvent échanger des informations assez rapidement pour fonctionner comme une seule machine.
Ce que vous faites déjà. Sugon affirme avoir optimisé plus de 300 applications dans plus de 30 domaines de recherche et industriels, de la découverte de nouveaux matériaux et de médicaments à l’aérospatiale et à l’agriculture. Des exemples ressortent en météorologie, où en septembre, l’Administration météorologique chinoise et Sugon ont annoncé une prévision météorologique mondiale sur 10 jours avec une résolution de 5 km, générée en environ une heure dans le système, selon le South China Morning Post. C’est plus précis que la plupart des principaux systèmes de prévision couramment utilisés.
Un autre exemple notable est celui des chercheurs de l’Université Tsinghua, qui ont utilisé le cluster pour reconstruire un modèle numérique du comportement des sédiments et du niveau d’eau du fleuve Jaune, partagé par Interesting Engineering.
Le supercalculateur pour tout. La société présente le Sugon 8000 comme un système hybride, avec un comportement de superordinateur traditionnel qui donne la priorité aux calculs de haute précision pour les simulations scientifiques, et comme un système d’IA, qui sacrifie une certaine précision au profit de la vitesse de traitement d’énormes ensembles de données. Le tout sur le même matériel.
Image de couverture | Sugon
À Simseo | OpenAI affirme avoir progressé sur trois problèmes scientifiques très complexes, même si l’académie aura le dernier mot
