Elon Musk alimente le « cluster d'IA le plus puissant au monde ». Un avec 100 000 GPU NVIDIA H100

Elon Musk se prépare depuis des mois pour tenter de remporter la bataille de l’IA. Aujourd'hui, il a fait un pas de plus dans cette direction et vient de lancer un gigantesque cluster doté de 100 000 GPU NVIDIA H100 et qui sera crucial pour la formation de son prochain modèle d'IA.

Obsession pour l'IA. Après son histoire déchirante avec OpenAI, le magnat a créé xAI en 2023 pour rivaliser sur ce marché. À la fin de cette année-là, il a lancé Grok, son rival particulier (et sarcastique) de ChatGPT, et des mois plus tard, il a tenté de convaincre les développeurs en ouvrant la majeure partie du projet en open source.

100 000 GPU NVIDIA H100. Il y a quelques heures, Musk a annoncé le lancement du « Memphis Supercluster », qui a débuté son activité avec 1 000 cartes graphiques NVIDIA H100 refroidies par liquide. Selon lui, il s'agit du « pôle de formation en IA le plus puissant au monde ». Le projet a été réalisé avec la collaboration de Supermicro : son PDG, Charles Liang, a félicité Musk dans ce message après le lancement du cluster.

faim de cartes. Le créateur de Tesla et SpaceX achète ces cartes depuis des mois à la fois pour xAI et pour former ses systèmes de conduite autonome chez Tesla, même si récemment il semble que certaines d'entre elles aient été détournées vers X.

xAI aura un nouveau modèle en décembre. Musk a ensuite assuré qu' »il s'agit d'un avantage significatif pour former l'IA la plus puissante au monde dans tous les paramètres » et a assuré qu'elle serait disponible en « décembre de cette année ». Il s'agit probablement du Grok3, la troisième génération d'un modèle qui pour le moment n'a toujours pas la popularité de ses concurrents.

Musk ne voulait pas attendre. Il y a deux mois, The Information expliquait comment Musk préparait une « Gigafactory informatique ». La possibilité d'utiliser les nouvelles cartes B200 a alors été envisagée, mais Elon Musk ne semble pas avoir souhaité quelque chose de spécial malgré le gain théorique en puissance et en efficacité.

Ce « supercalculateur » serait théoriquement en tête du Top500. Le gigantesque Memphis Supercluster pourrait soudainement devenir le leader absolu du Top500, du moins si l’on regarde ce nombre de GPU et leur puissance.

Les supercalculateurs les plus puissants au monde n'ont pas beaucoup de GPU : Frontier possède 37 888 GPU AMD, Aurora en possède 60 000 d'Intel et Microsoft Eagle possède 14 400 de ces NVIDIA H100. Tout le monde est éclipsé par ce nouveau « monstre », même s'il n'est pas clair si son accent spécifique sur la formation de modèles d'IA le fera apparaître dans les prochaines éditions de cette prestigieuse liste des supercalculateurs les plus puissants du monde.

Images | xAI

À Simseo | Contre toute attente, Threads est devenu un sérieux rival de X : 175 millions d’utilisateurs et ce n’est pas fini.