vient de faire un virage à 180 degrés avec l’annonce de sa puce spécialisée

Lorsque Facebook, Inc. est devenu Meta Platforms, Inc. en octobre 2021, à moins qu’il n’ait l’étrange capacité d’entrevoir l’avenir, Mark Zuckerberg n’aurait peut-être pas imaginé que son ambitieux parier sur le métavers il heurterait un barrage routier monumental environ un an plus tard.

En novembre 2022, OpenAI a introduit ChatGPT et en quelques jours, presque tout le monde parlait des fonctionnalités du chatbot conversationnel. Pour beaucoup, ce mouvement a été le point de départ d’une course au leadership dans le domaine de l’intelligence artificielle qui a fortement secoué l’industrie technologique.

Certaines entreprises étaient dans une position plus favorable que d’autres. Microsoft était sans aucun doute l’un d’entre eux.. Ceux de Redmond avaient investi 1 000 millions de dollars dans l’entreprise dirigée par Sam Altman en 2019 et, voyant ce qui se passait, ils ont ressorti à nouveau le chéquier, cette fois pour 10 000 millions de dollars.

Le grand changement de Meta

Malgré tout cela, Meta brûlait toujours une fortune dans le métaverse, une idée à long terme qui se présentait avec de nombreux défis. Pour atteindre les résultats escomptés, des avancées importantes étaient nécessaires dans le domaine de la réalité virtuelle et augmentée. Un modèle économique solide devait être développé. Et enfin, il faudrait des années pour être rentable.

Les opportunités, apparemment, se trouvaient dans le monde de l’intelligence artificielle, mais au plus haut niveau. Et ce n’est pas que l’entreprise de réseaux sociaux n’avait aucune expérience dans ce secteur, par exemple, ses systèmes de recommandation de contenu et sa plate-forme publicitaire sont principalement pris en charge par des algorithmes avancés.

Au contraire, sa capacité à démontrer des avancées significatives dans le développement de modèles linguistiques de nouvelle génération était un pas en arrière. Selon des documents consultés par Reuters, l’infrastructure de l’entreprise avait besoin de changements substantiels pour rattraper son retard, tandis que l’utilisation en production d’une puce d’IA propriétaire n’a pas tout à fait fait son chemin.

Les fuites indiquent que le dernier changement de gouvernail a eu lieu à la fin de l’été 2022, mais c’est maintenant que nous commençons à voir les résultats. Bien que Meta prétende rester attaché au métaverse, il démontre clairement une fort accent sur l’IAavec des projets qui incluent des algorithmes génératifs et au-delà.

Ce jeudi, Zuckerberg a dévoilé quatre nouveautés destinées à « booster de nouvelles expériences » d’intelligence artificielle de Meta. Il a levé le rideau pour présenter la mise à niveau de son centre de données AI existant, le Research SuperCluster, une nouvelle puce auto-conçue, une nouvelle conception de centre de données et un assistant de programmation. Nous nous concentrerons sur les trois premiers.

Propre centre de données, propulsé par NVIDIA

En janvier de l’année dernière, nous avons découvert que Meta était développé depuis plus d’un an. Centre de données IA qui promettait de devenir l’un des plus puissants du genre. Comme de nombreux projets présentant des caractéristiques similaires, la construction du soi-disant AI Research SuperCluster (SRC) a été planifiée progressivement et par étapes.

La deuxième phase du SRC, qui devait être mise en ligne mi-2022, vient de s’achever. Meta a apporté quelques ajustements à son diagramme pour tenter d’atteindre près de 5 ExaFLOPS de puissance de calcul à pleine charge. Tout cela grâce à un matériel rooté et très coûteux développé par NVIDIA.

Dans cet ambitieux centre de données de la société Menlo Park, nous trouvons 2 000 systèmes NVIDIA DGX A100 qui intègrent 16 000 puissants unités de traitement graphique NVIDIA A100 sorti en 2020. Tout cela sous l’égide du système d’interconnexion hautes performances NVIDIA Quantum InfiniBand 16 Tb/s.

Comme on dit, le SRC est en opération depuis longtemps, c’est pourquoi il a été utilisé par l’entreprise pour différents projets de recherche. Parmi eux, on retrouve LLaMA, le grand modèle linguistique qui a été annoncé au public plus tôt cette année. Une sorte de concurrence aux systèmes génératifs GPT d’OpenAI.

Ce centre de données, avec la mise à niveau qu’il vient de recevoir, devrait devenir l’un des protagonistes des prochaines étapes de But. La société affirme qu’elle continuera à l’utiliser pour former des modèles de langage et même explorer d’autres domaines de l’IA générative. De plus, assure-t-il, ce sera la clé de la construction du métaverse.

Une nouvelle approche, ‘made in Meta’

Comme nous le disons, l’infrastructure d’IA opérationnelle de Meta est actuellement basée sur NVIDIA, une entreprise qui est devenue l’un des grands gagnants de la course dans ce domaine. Suivant les traces de Google, il a choisi de commencer à développer sa propre puce haute performance pour les centres de données d’IA avec une approche très spécifique.

Les solutions basées sur GPU (Graphics Processing Unit) sont souvent le bon choix pour les centres de données en raison de leur capacité à effectuer plusieurs threads de travail simultanément, entre autres fonctionnalités, bien sûr. Meta compte dans un article de blog concluant qu’ils ne conviennent pas à tous les niveaux.

Bien que ceux-ci jouent un rôle fondamental dans les centres de données dédiés à la formation de modèles d’IA, selon la société de réseautage social, ils ne sont pas aussi efficaces dans le processus d’inférence. Pour mettre un peu de contexte, l’inférence est la deuxième phase du processus d’apprentissage automatique, celle qui se produit après la formation.

En formation, comme nous l’avons mentionné précédemment, le modèle apprend des données et ses paramètres sont ajustés pour fournir des réponses dans un processus très exigeant. temps et capacité de calcul. Dans l’inférence, ce qui a été appris est mis en pratique en donnant des réponses, mais avec une fraction de la puissance utilisée dans la formation.

À partir de cette prémisse, Meta a changé d’orientation. Au lieu d’utiliser des systèmes basés sur GPU pour les processus d’inférence, il a choisi d’utiliser le CPU (Central Processing Unit). Cela signifiait une opportunité de développer sa propre famille de puces appelée Meta Training and Inference Accelerator (MTIA) spécifique à l’inférence.

Bien que ce projet trouve ses origines en 2020, c’est maintenant que l’entreprise a décidé d’en parler publiquement. Et cela vient avec des données techniques intéressantes. Nous sommes face à des puces fabriquées selon le procédé de Photolithographie TSMC 7 nanomètres dont le TDP est de 25 W. Il est conçu pour supporter jusqu’à 128 Go de mémoire.

Chaque processeur est monté sur des cartes M.2 qui se connectent via des emplacements PCIe Gen4 x8. N’oubliez pas que les centres de données disposent de plusieurs de ces puces fonctionnant à l’unisson pour fournir des niveaux élevés de puissance de calcul. Ces caractéristiques, évoquées à grands traits, ne sont pas définitives et continuent d’évoluer.

On ne sait pas combien ces puces développées par Meta et fabriquées par TSMC entreront en jeu, mais le point suivant peut servir de guide. L’entreprise travaille déjà sur son centres de données de nouvelle génération, qui complétera le travail du SRC. Justement, le cœur de ces centres de données sera les puces MTIA.

Meta indique que le contrôle racine des composants physiques et logiciels de leurs futurs centres de données se traduit par une « expérience de bout en bout » qui leur permettra d’améliorer considérablement la capacité de leur centre de données, bien qu’il ne mentionne pas de dates. Bien sûr, rappelez-vous que nous sommes au milieu d’une course.