IA et modèles de raisonnement: la croissance pourrait-elle ralentir?
L’organisation à but non lucratif Époque AIspécialisé dans la recherche sur l’intelligence artificielle, a publié une analyse que l’industrie de l’IA pourrait bientôt être confrontée un ralentissement significatif de la progression du SO modèles de raisonnement. Selon le rapport, ces avancées pourraient déjà subir une arrestation dans un an.
Des modèles comme O3 ont changé le jeu, mais à quel prix?
Les modèles de raisonnement, tels que leO3 par OpenIIont récemment garanti des améliorations significatives de la référence liée aux mathématiques et à la programmation. Ces modèles appliquent une plus grande quantité de puissance de calcul pour résoudre des problèmes complexes, obtenant ainsi de meilleures performances que les modèles conventionnels. Cependant, l’efficacité de calcul est plus faible: Ils prennent plus de temps pour accomplir les tâches.
La construction d’un modèle de raisonnement prévoit deux phases: une première phase d’entraînement sur d’énormes quantités de données, comme pour les modèles conventionnels, et une deuxième phase dans laquelle le SO-appelé est appliqué Apprentissage pour le renforcement (Apprentissage du renforcement), qui fournit au modèle une rétroaction sur les solutions proposées pour des problèmes complexes.
Le défi de l’apprentissage par renforcement: un goulot d’étranglement potentiel
Jusqu’à présent, selon Epoch Ai, les laboratoires Avant-Garde comme Openai Ils n’ont pas encore utilisé d’énormes ressources de calcul dans la phase d’apprentissage pour le renforcement. Cependant, ce scénario change. OpenII a dit qu’il avait utilisé 10 fois plus de puissance de calcul Pour entraîner l’O3 par rapport à son prédécesseur O1, et selon l’époque, la majeure partie de ce pouvoir aurait été destinée précisément à l’apprentissage par renforcement.
En outre, Dan Robertschercheur d’Openai, a récemment révélé que la société prévoit Donnez une priorité absolue à l’apprentissage par le renforcement dans les futurs modèlesen utilisant plus de ressources de calcul dans cette phase que dans la formation initiale.
Y a-t-il des limites à l’évolutivité informatique?
Malgré cette stratégie agressive, l’époque souligne que Cependant, il existe des limites supérieures à la quantité de calcul qui peut être appliquée à l’apprentissage par renforcement. Josh vousanalyste d’Epoch et auteur de l’étude, met en évidence un autre point crucial: tandis que les gains de performance dérivant du quadruplical de formation standard chaque année, Ceux obtenus par l’apprentissage par renforcement se développent dix fois tous les 3 à 5 mois.
Cependant, cette croissance n’est pas infinie: selon vous, la progression des modèles de raisonnement aura tendance à converger avec celui des modèles conventionnels d’ici 2026.
Au-delà de la puissance de calcul: coûts de recherche
En plus des limites de calcul, l’analyse d’Epoch attire l’attention sur un autre aspect souvent négligé: Coûts indirects de la recherche avancée. Selon vous, « Si les frais généraux requis pour la recherche restent persistants, les modèles de raisonnement peuvent ne pas grimper comme espéré ». Autrement dit, La progression peut ne pas dépendre uniquement de la quantité de GPU, mais aussi de la durabilité de l’ensemble du processus de développement.
Une sonnette d’alarme pour le secteur AI
La possibilité que les modèles de raisonnement abordent un toit d’efficacité maximale est Une nouvelle inquiétante pour l’ensemble du secteur de l’intelligence artificiellequi a investi d’énormes ressources dans le développement de ce type de systèmes. De plus, ces modèles ont déjà été montrés, en plus d’être très cher à effectuer, Ils ont tendance à générer plus de « hallucinations » que certains modèles conventionnels.
Conclusion: une phase de question avec de nouvelles questions
La réflexion proposée par Epoch AI ne suggère pas la fin des progrès dans les modèles de raisonnement, mais met en garde contre un possible ralentissement physiologique de la croissance. Ce scénario pourrait pousser l’industrie à rechercher de nouvelles stratégies d’optimisation ou à considérer des modèles alternatifs plus durables. La course à l’intelligence artificielle, en bref, Il pourrait bientôt entrer dans une nouvelle phase, plus lent mais peut-être plus conscient.
