OpenAI se prépare à lancer son nouveau modèle d'IA au milieu de l'année, selon Insider

Vous souvenez-vous du sentiment que vous avez ressenti lorsque vous avez utilisé ChatGPT pour la première fois ? Pour beaucoup de gens, c’était comme regarder à travers une fenêtre vers l’avenir, et ils avaient raison. Le lancement de cela chatbot basé sur GPT-3.5 a déclenché une véritable course entre les entreprises technologiques les plus importantes de la planète pour diriger le développement de l'intelligence artificielle.

Environ 15 mois se sont écoulés depuis et cette industrie naissante a évolué à pas de géant. OpenAI a de nouveau surpris le monde en mars 2023 avec GPT-4, un modèle avancé qui alimente ChatGPT Plus et Microsoft Copilot. Mais les concurrents de la firme dirigée par Sam Altman n'ont cessé de croître, et d'autres modèles sont apparus.

OpenAI, GPT-5 et le défi de continuer à diriger

Ces derniers temps, nous avons assisté à la présentation d'alternatives telles que Claude 3 d'Anthropic, Llama 2 de Meta et Gemini 1.5 de Google. Ce n'est un secret pour personne, cette tendance pourrait ternir le leadership du OpenAI, mais tout semble indiquer que l'entreprise américaine s'apprête à déménager à nouveau. La réponse à ce scénario serait un modèle appelé GPT-5.

OpenAI n'a donné aucun signe de sa prochaine version majeure, bien que certaines informations sur le projet semblent fuir. Selon des sources consultées par Business Insider, GPT-5 est une réalité, même s'il n'est pas encore prêt à être rendu public. L’entreprise à l’origine du modèle doit encore accomplir certaines tâches avant qu’il ne soit disponible, mais cela pourrait être très bientôt.

Actuellement, certaines entreprises clientes ont reçu des échantillons de GPT-5, ainsi qu'une version améliorée de ChatGPT basée sur ce modèle, pour évaluation. En parallèle, OpenAI poursuit le entraînement du modèle. Si tout se passe comme prévu, selon des sources, GPT-5 pourrait apparaître sur la scène au milieu de cette année, c'est-à-dire d'ici l'été.

Il n'y a pas beaucoup de détails divulgués sur les améliorations possibles du GPT-5, même si l'on pense que cette nouvelle version du modèle sera en mesure d'améliorer de nombreuses lacunes du GPT-4. Rappelons que la version actuelle a présenté des problèmes de performances et, dans certains cas, la qualité de ses réponses s'est dégradée. D’un autre côté, il continue également à avoir des problèmes d’hallucinations.

La taille possible du GPT-5 n’a pas non plus été révélée, bien que cette semaine des données du GPT-4 aient été révélées et puissent nous aider à comprendre où pourraient aller les tirs. OpenAI, née comme une entreprise à but non lucratif, a adopté une approche commerciale, ce qui a permis à ses projets d'avoir désormais secrets commerciaux. Nous savons donc peu de choses sur les détails techniques de GPT-4.

Lors de la conférence des développeurs GTC 2024, NVIDIA a annoncé ses dernières avancées en matière d'intelligence artificielle. Curieusement, l’une des diapositives révélait l’une des données qu’OpenAI avait gardées secrètes : la taille du GPT-4. Selon l'entreprise de matériel informatique, GPT-4 est un modèle avec 1,8 billion de paramètres, soit environ 10 fois plus grand que GPT-3 et ses 175 milliards de paramètres.

Il y avait des rumeurs selon lesquelles GPT-4 pourrait être si énorme, mais s'il utilisait la même architecture que GPT-3, cela entraînerait plus de problèmes que de solutions. On soupçonnait qu'OpenAI aurait pu utiliser une architecture connue sous le nom de MoE (Mélange d'experts), qui répond à ce problème avec la répartition de la charge de calcul dans différents modules « experts ». Et GPT-4 a été confirmé comme étant un MoE.

Comme nous le disons, nous ne savons pas quelle sera la taille (ou la taille ?) de GPT-5, mais le fait qu'OpenAI travaille avec le MoE supprime l'un des principaux obstacles à la création de modèles volumineux. Certes, l’entreprise aura bien d’autres défis, que nous découvrirons probablement au fil des mois. Une chose que nous savons, c'est que Microsoft alloue des millions de dollars à ses centres de données.

Et les modèles d'IA d'OpenAI sont formés et exécutés à partir de la plateforme de cloud computing Microsoft Azure IA. Le géant de Redmond avait déjà fait une mise à jour très importante en commençant à adopter les GPU NVIDIA H100. Eh bien, cela fait partie du passé. Il y a littéralement deux jours, Redmond a annoncé l'incorporation des redoutables GPU NVIDIA GB200.

Images | Rolf van Root | OpenAI

À Simseo | Le leader de NVIDIA se mouille : il a fixé très précisément la date à laquelle l'intelligence artificielle générale sera prête