les modèles d’entraînement avec de plus en plus de GPU et de données ne servent plus à grand-chose

Un nouveau modèle OpenAI appelé Orion arrive. Cela aurait été passionnant il y a quelques mois, mais la vérité est que les attentes concernant ce lancement sont en baisse. Le sentiment est que nous assistons à un ralentissement de l’IA générative, et une personne importante est totalement d’accord avec cet argument. Celui qui était responsable de la création de ChatGPT, en fait.

Ilya Sutskever. Ce co-fondateur d'OpenAI a été l'un des principaux architectes de ChatGPT, mais a fini par quitter l'entreprise en mai pour créer plus tard sa propre startup d'intelligence artificielle, baptisée Safe Superintelligence Inc (SSI). Son objectif est de créer une superintelligence avec une sécurité « nucléaire », mais il ne le fera pas en suivant la voie tracée par OpenAI ces derniers temps.

L’IA générative est au point mort. Cet expert a indiqué à Reuters que l’approche traditionnelle du développement de modèles d’IA génératifs a stagné. Entraîner massivement un modèle d'IA à l'aide d'un large ensemble de données non étiquetées afin que le modèle détecte des modèles et des structures ne fonctionne plus, et même essayer de le rendre de plus en plus grand ne fonctionne plus, explique-t-il. Yann LeCun, responsable de l'IA chez Meta, est d'accord avec cette évaluation et défend d'ailleurs cet argument depuis un certain temps.

Plus n'est pas mieux. Ces derniers temps, nous avons vu comment les grandes entreprises qui investissent dans ce type de modèles n'ont pas cessé d'utiliser de plus en plus de GPU, qui à leur tour étaient plus puissants et ingéraient de plus en plus de données, mais l'évolution des derniers modèles par rapport à leurs prédécesseurs ne semble pas aussi notable que ce que nous vivons en 2023 et début 2024.

Tant d'entraînement pour rien. Des sources consultées par Reuters ont indiqué que les laboratoires développant de nouveaux modèles d'IA subissent des retards et des résultats décevants dans leur évolution. Les cycles de formation peuvent coûter des dizaines de millions de dollars et prendre des mois. L'inconvénient est que vous ne pouvez pas savoir à l'avance si le processus réussira. Il faut attendre la fin du cycle pour savoir si cela en valait la peine et si le saut de performances est notable ou non.

Des attentes inférieures. Aujourd'hui, Bloomberg a confirmé les données apparues il y a quelques jours sur Orion et OpenAI. Le modèle ne représente pas actuellement un grand pas en avant par rapport à GPT-4o, et il nous faudra peut-être encore un certain temps pour le voir afin d'avoir le temps de le peaufiner. Chez Google, la nouvelle version de Gemini semble vivre la même situation selon des sources proches de son développement, et Anthropic retarde la sortie de Claude 3.5 Opus, la version théoriquement la plus puissante et performante de sa famille. Dans tous les cas, la situation est la même : ces nouveaux modèles sont un peu meilleurs que leurs prédécesseurs, mais pas suffisamment pour les lancer.

Sutskever est optimiste. Pourtant, cet expert a expliqué que « les années 2010 ont été l'ère de la mise à l'échelle (des ressources et de la formation), et maintenant nous sommes de retour dans l'ère de l'émerveillement et de la découverte. Tout le monde cherche la suite ». La déclaration est frappante, mais pas très précise, et ne précise pas à quoi elle fait référence, ce qui est étrange étant donné que l'étonnement et la découverte ont accompagné ChatGPT précisément à ses débuts. Maintenant, on s’est un peu habitué à ces chatbots, ce qui a réduit cette capacité d’émerveillement. Quoi qu'il en soit, pour lui, il ne s'agit pas seulement de grimper, mais de « grimper comme il faut ».

Il a un plan B, mais il ne donne aucun indice. Sutskever a refusé de partager des détails sur la manière dont lui et son équipe travaillent pour éviter les limitations des IA génératives actuelles. Il a seulement indiqué qu'il travaillait sur une voie alternative pour intensifier la formation, mais n'a pas donné de détails. Son parcours est remarquable, il sera donc intéressant de savoir quel type de solution il propose avec sa startup.

Forcer l’IA à « raisonner ». L'une des techniques utilisées pour tenter de surmonter ces problèmes est ce que l'on appelle le « calcul au moment du test ». Dans ce document, le modèle est obligé d’évaluer plusieurs réponses en temps réel, puis de choisir la meilleure. C'est exactement ce que fait le modèle o1 d'OpenAI, qui, en un sens, « raisonne » en examinant ses réponses pour essayer d'écarter les réponses incorrectes et de choisir la plus précise. D'autres sociétés comme Anthropic, xAI, Microsoft et Google proposent leurs propres modèles suivant cette même approche.

Des GPU pour la formation aux GPU pour l'inférence. Ces types de processus signifient que l’intérêt semble désormais se déplacer vers du matériel spécialisé pour l’inférence. Jensen Huang a déjà indiqué le mois dernier avoir découvert qu'il existe une « deuxième loi de mise à l'échelle » qui repose sur le fait d'avoir de plus en plus de puces dédiées à l'inférence. Selon lui, cela a rendu « la demande pour Blackwell incroyablement élevée ». Ses nouvelles puces spécialisées en IA commenceront bientôt à être disponibles dans les centres de données, mais il est également vrai que la concurrence va tenter de profiter de cette opportunité.

Images | OpenAI

À Simseo | Le leadership de NVIDIA dans le domaine des puces IA ne dépend pas uniquement d'eux-mêmes. C'est entre les mains de cette société sud-coréenne