Ils ont dépensé beaucoup d'argent pour le former et même dans ce cas, ce n'est pas beaucoup mieux que GPT-4

Le récent barrage d’annonces d’OpenAI a démontré le rythme frénétique auquel l’entreprise travaille. Ces derniers jours, nous avons appris d'excellentes nouvelles concernant Sora, ChatGPT Search, ChatGPT sur WhatsApp, la disponibilité massive de o1 ou encore le récent o3 comme protagonistes majeurs. Tout semble bien se passer pour l’entreprise dirigée par Sam Altman, mais il y a quelque chose qui vous empêche probablement de dormir la nuit : GPT-5.

GPT-5 et Orion. La société travaille depuis des mois sur son prochain modèle de langage majeur, nommé Orion mais théoriquement GPT-5. On suppose que l’augmentation des performances par rapport à GPT-4 sera nettement plus importante que ce que nous avons vu de GPT-4 à GPT-4o, mais c’est là le problème. Pour le moment, ce n’est pas le cas.

Retards et coût colossal. Comme le souligne le Wall Street Journal, ce projet continue de prendre du retard, et par exemple Microsoft espérait y avoir accès à la mi-2024. Il y a quelque chose d'encore pire : son développement a un coût colossal qui ne cesse de croître. Chaque cycle de formation devrait durer environ six mois et coûter 500 millions de dollars. Selon le journal, Altman avait déjà indiqué par le passé que la formation GPT-4 coûtait plus de 100 millions de dollars.

Deux entraînements qui ne fonctionnent pas vraiment. Orion a été entraîné avec d'énormes quantités de données, non pas une, mais deux fois. Malgré cela, les problèmes n’ont pas cessé de surgir : lors de la deuxième tentative de formation, ils se sont rendu compte que l’ensemble des données n’était pas aussi diversifié qu’ils le pensaient. OpenAI a perdu beaucoup d'argent et de temps pour relancer ce processus, et il n'est pas clair si cette deuxième formation a fini par être canalisée avec des données plus riches et plus utiles.

Cela n'en vaut pas la peine pour le moment. Les chercheurs semblent avoir été déçus par les performances du modèle, selon des sources proches du projet. Bien qu’il soit plus performant que le modèle actuel, ses performances ne justifient pas l’énorme coût de développement et d’exécution d’Orion.

Sutskever déjà prévenu. Ilya Sutskever, co-fondateur d'OpenAI qui a quitté l'entreprise il y a quelques mois, a déclaré en novembre que former des modèles d'IA avec de plus en plus de GPU et de données n'était plus d'une grande utilité. Les attentes concernant GPT-5 rejoignent celles des efforts d’autres entreprises qui développent elles aussi théoriquement des chatbots de plus en plus puissants. Le sentiment est que l’IA générative, du moins de ce type, stagne.

Altman et le danger des promesses. En juillet 2025, il a déclaré que GPT-5 pourrait arriver fin 2024 et début 2025. En fait, il a promis que le nouveau modèle représenterait « un bond significatif » dans tous les types de tâches et de sujets. On s’attend à ce que GPT-5 devienne à la fois un outil scientifique et quotidien ; celui qui ferait également moins d’erreurs que GPT-4/ChatGPT.

Générer des données de qualité. Chez OpenAI, ils ont rencontré le problème de ne plus disposer de données de qualité supérieure pour entraîner le modèle, ils ont donc décidé de le créer à partir de zéro. Ils ont embauché des personnes pour écrire de nouveaux programmes ou résoudre des problèmes de mathématiques, puis « discuter » avec Orion pour expliquer ces résultats. De telles explications sont également théoriquement précieuses pour le développement d’un LLM, car elles peuvent servir de « carte » permettant aux modèles de résoudre des problèmes similaires à l’avenir. Il ne s’agit pas seulement de donner le résultat, mais aussi de revoir comment nous y sommes arrivés.

Agents IA et chatbots « raisonnants » à la rescousse. Malgré ces difficultés, OpenAI comme ses concurrents connaissent actuellement deux grandes tendances qui relancent à nouveau ce segment. La première, celle des agents IA qui feront les choses à notre place de manière autonome. La seconde, celle des modèles qui « raisonnent » et qui, même en prenant plus de temps, parviennent à donner des réponses plus correctes. L’espoir est que les deux propositions finiront par remplacer, au moins en partie, les chatbots actuels.

À Simseo | Copilot, ChatGPT et GPT-4 ont changé à jamais le monde de la programmation. C'est ce que pensent les programmeurs