Microsoft

Que savons-nous de l’incroyable supercalculateur Microsoft qui a rendu GPT-4 possible et exécute ChatGPT ?

L’industrie de la technologie n’a pas connu une période aussi excitante depuis des années. Depuis les révolutions d’Internet, des réseaux sociaux et des crypto-monnaies, pour ne citer que quelques exemples, qu’une technologie n’ait pas projeté des attentes telles que celle qui génère le intelligence artificielle. Et les raisons sont trop nombreuses. C’est une promesse dont les avancées récentes nous ont laissé sans voix.

L’un des responsables de ce phénomène est ChatGPT, le chatbot OpenAI qui est rapidement devenu viral pour son incroyable capacité à répondre à toutes sortes de questions et à tenir des conversations en langage naturel. Plus tard, ce fut au tour du chat Bing, qui capta l’attention des gens avec sa curieuse personnalité, bien que Microsoft ait plus tard pris sur lui de le limiter.

L’IA avance à pas de géant (et le matériel est élémentaire)

Les choses vont très vite. Avant novembre 2022, l’accès massif à ce type d’outils basés sur l’intelligence artificielle n’était pas une réalité. Ils étaient disponibles à environnements fermés laboratoire et des versions moins évoluées dans des applications telles que Jasper ou Notion. Aujourd’hui, toute personne disposant d’une connexion Internet peut profiter de ChatGPT ou de Bing sans avoir à répondre à certaines exigences.

Maintenant, pour que tout cela soit possible à notre époque, les planètes ont dû s’aligner. En d’autres termes, un grand nombre de facteurs ont dû se réunir qui, dans leur ensemble, ont jeté les bases de l’IA générative dont nous bénéficions aujourd’hui et permettent son évolution. En se concentrant sur les efforts d’OpenAI, un élément clé a été l’accès à une énorme puissance de calcul.

Selon compte Bloomberg le patron de Microsoft Azure, Scott Guthrie, l’entreprise dirigée par Sam Altman avait besoin en 2019 d’un supercalculateur de haut rendement pour former votre modèle de prochaine génération. À l’époque, OpenAI avait déjà introduit le GPT et son évolution GPT-2, il s’apprêtait donc à faire un bond en avant substantiel avec ses modèles de nouvelle génération.

Centre de données Microsoft à Washington, États-Unis

Dans un geste extrêmement intelligent, ceux dirigés par Satya Nadella ont investi 1 milliard de dollars dans ce petit mais prometteur Commencez de l’intelligence artificielle et ont défini un point clé : ils feraient d’Azure leur fournisseur exclusif de services cloud. De cette manière, les projets OpenAI seraient formés, développés et exécutés sur des serveurs cloud Microsoft.

Jusqu’à présent, tout était parfait, mais les entreprises avaient un gros problème. OpenAI n’avait pas les ressources financières pour mettre en place ses propres supercalculateurs et Microsoft, qui avait assez de capital et avait promis de les offrir, il n’était pas en mesure non plus. La solution? Créez-les. Le défi, cependant, était bien plus que de simplement rassembler une énorme puissance de calcul et de la faire fonctionner à l’unisson.

Comment Microsoft parie sur Azure a débloqué une révolution Ai 03 1024x683

Vue extérieure du centre de données Microsoft Washington

Il suffit de rappeler que démarrer des ordinateurs bestiaux est une tâche extrêmement complexe, et ceux-ci, bien qu’il nous soit difficile de le croire, présentent très souvent des échecs jusqu’à ce qu’ils soient mis en place. Frontier, sans aller plus loin, qui est le supercalculateur le plus puissant du monde, a rencontré plusieurs problèmes. En tout cas, les Redmond avaient une affaire importante à régler pour tenir parole.

Le cœur de ChatGPT a l’esprit NVIDIA

Pour façonner cet ambitieux projet, Microsoft a choisi les GPU de centre de données les plus puissants disponibles à l’époque, le NVIDIA A100 sortie au milieu de 2020. Il s’agissait d’une carte graphique alimentée par la technologie Ampere et des cœurs Tensor de 3e génération spécialement conçus pour les tâches informatiques hautes performances telles que la formation à l’IA et l’analyse de données.

Le supercalculateur disposerait également d’autres technologies NVIDIA qui vont de pair avec ses GPU. Étant donné que des milliers de cartes graphiques A100 étaient nécessaires pour atteindre la puissance de calcul souhaitée (combien n’ont pas été spécifiés), elles ont été interconnectées avec les systèmes NVLink, deux solutions qui offrent une communication directe entre le GPU qui met à l’échelle l’entrée/sortie (IO) de plusieurs GPU au sein du serveur.

Nvidia A100

NVIDIA A100

En cours de route, les ingénieurs ont été chargés de répondre à une exigence de base : que les capacités du supercalculateur soient évolutives. Cela lui permettrait de commencer à travailler avec une certaine puissance et l’augmenter si nécessaire en mettant à jour les composants matériels. Justement, sous cette base, dont le coût atteignait « plusieurs centaines de millions de dollars », OpenAI a commencé à fonctionner.

La société d’intelligence artificielle disposait de l’énorme puissance des systèmes Azure pour s’entraîner avec d’énormes ensembles de données et des milliards de paramètres l’un de ses modèles de langage autorégressif les plus avancés, GPT-3.5, le cœur du chatbot viral dont nous parlons tous aujourd’hui. À ce stade, il convient de faire une mention spéciale de l’architecture « transformateur” de Google, élémentaire pour adapter le modèle OpenAI susmentionné.

chatgpt 1

Capture d’écran ChatGPT

Mais la chose ne s’arrête pas là. D’une part, nous avons l’infrastructure nécessaire pour former le modèle ChatGPT et d’autre part l’infrastructure qui lui permet de fonctionner et de prendre en charge des millions d’utilisateurs interagissent avec le programme AI à partir de divers emplacements géographiques. Cette dernière, appelée techniquement « Inference », nécessite une configuration matérielle légèrement différente.

En ce sens, Microsoft a distribué « des centaines de milliers » de GPU NVIDIA A100 dans une soixantaine de centres de données situés dans différentes parties de la planète. C’est précisément sur ces piliers que ChatGPT fonctionne partout dans le monde. Et le maintenir n’est pas vraiment bon marché. Selon Forbesfaire fonctionner toutes les branches de ce système complexe coûte « des millions de dollars par jour ».

La vérité est que Microsoft et OpenAI essaient de capitaliser judicieusement sur tous ces efforts. Cette association, devenue l’une des plus productives du secteur, donne des résultats très intéressants. Après le succès de ChatGPT, propulsé par GPT-3.5, OpenAI a introduit GPT-4un modèle multimodal dont les capacités se rapprochent considérablement des performances humaines dans certains domaines.

Microsoft et OpenAI tentent de capitaliser sur tous ces efforts

GPT-4 peut déjà être utilisé dans l’abonnement payant ChatGPT Plus et il existe une liste d’attente ouverte pour que les développeurs accèdent à l’API. De plus, ce modèle de nouvelle génération vient d’arriver dans des applications et des services aussi populaires que Duolingo, Stripe, Dropbox et Be My Eyes. Et bien sûr, le nouveau Bing avec chatbot de recherche intégré a ce modèle depuis le jour zéro, nous ne le savions tout simplement pas officiellement.

Comment Microsoft parie sur Azure

Bien sûr, il y a de nombreux secrets dans tout cela que les entreprises préfèrent ne pas révéler. Au cours des dernières semaines, Microsoft il a esquivé les questions sur quel modèle il alimentait Bing, répondant qu’il s’agissait d’un « modèle de nouvelle génération d’OpenAI ». Quelque chose de similaire se produit lorsque la conversation se tourne vers le matériel qui permet au GPT-4 de fonctionner.

Un jour avant la présentation du GPT-4, Microsoft a déclaré que les nouveaux modèles fonctionneront sur la nouvelle infrastructure Azure qu’ils préparent. Justement, ceux de Redmond se sont lancés dans l’adoption le dernier des derniers systèmes de NVIDIA dans leurs systèmes, les GPU NVIDIA H100 à architecture Hopper de 80 milliards de transistors introduits il y a environ un an.

Comme on dit, Microsoft et OpenAI profitent pleinement de tout ce phénomène. Les premiers ont non seulement vu une résurgence du moteur de recherche Bing, mais ont également pris toute l’expérience acquise créer les supercalculateurs pour former GPT-3.5 afin de renforcer la proposition de cloud Azure. Et c’est un énorme différentiel par rapport aux autres concurrents du secteur, comme AWS ou Google Cloud.

Les entreprises clientes d’Azure peuvent utiliser, via des environnements virtuels hautement optimisés, l’infrastructure cloud de Microsoft pour développer leurs propres projets d’IA. OpenAI, pour sa part, gagne de l’argent grâce aux abonnements ChatGPT Plus et à l’accès API à ses modèles de langage avancés.

GPT-4 vient de rendre les examens traditionnels obsolètes (et cela inclut ceux de niveau collégial)

Un gagnant collatéral dans toute cette histoire est sans aucun doute NVIDIA, la société derrière les puces graphiques qui donnent vie aux supercalculateurs des grandes entreprises s’impliquent dans ces projets. Ce qui se passe dans le monde technologique aux mains de l’IA est vraiment intéressant et tout semble indiquer que beaucoup plus de nouvelles sont sur le point d’apparaître sur la scène.

Images: Microsoft | Nvidia | Capture d’écran ChatGPT

A Simseo : Je n’ai aucune idée de la programmation mais grâce à GPT-4 j’ai créé un clone de Flappy Bird