Contre ceux qui pensent que l’IA stagne, un concept redonne espoir : la fonction sigmoïde

Le lancement de GPT-2, GPT-3 et GPT-4, les LLM d'OpenAI, a toujours suivi le même schéma : ils ont été formés dans des centres de données de plus en plus grands et puissants, et ils l'ont également fait avec toujours plus de données. Chaque modèle était nettement meilleur que le précédent, nous pensions donc tous que ce processus de mise à l’échelle continuerait de fonctionner. Et il semble que ce ne soit pas le cas.

L’IA commence à stagner, disent-ils. De plus en plus d'experts comme Ilya Sutskerver estiment que l'époque où l'on ajoutait plus de GPU et plus de données pour obtenir de meilleurs modèles d'IA génératifs touche à sa fin. OpenAI lui-même semble avoir retardé le lancement d'Orion, son nouveau modèle, car il ne fait pas un bond très marquant, et il en va de même pour les développements de Google ou d'Anthropic.

Ils investissent beaucoup, ils gagnent peu. Les grands bénéficiaires de la fièvre de l’IA ont été les grandes entreprises technologiques, dont les actions en bourse ne cessent de gagner en nombre. Au cours des deux dernières années, soulignent-ils dans Bloomberg, les principaux protagonistes ont enregistré une croissance globale de 8 000 milliards de dollars. Ce qui est curieux, c’est que même s’ils n’ont pas cessé d’investir, par exemple dans les centres de données, les revenus générés par l’IA générative sont actuellement symboliques.

Bienvenue dans la fonction sigmoïde. Mais en réalité, cette hypothétique « stagnation » pourrait bien être précisément ce qui devait se produire. Dans le domaine de la technologie, les nouveaux développements ne se heurtent pas à un mur avant un certain temps et meurent. Ce qui arrive généralement, c'est qu'ils s'affrontent, certes, mais une certaine découverte ou innovation ouvre toutes leurs possibilités. C'est le comportement représenté par ce que l'on appelle la fonction sigmoïde (« S-Curve ») : la progression initiale est lente, mais à un certain point elle commence à s'accélérer sensiblement. Puis il commence à ralentir et à accélérer à nouveau après une nouvelle évolution.

Stagner pour évoluer. Les exemples sont partout. Dans le monde des puces, la loi de Moore semble de temps en temps cesser de s'appliquer, mais de nouveaux progrès – notamment la photolithographie – démontrent une fois de plus sa validité. Le développement de l’aviation commerciale a stagné pendant plusieurs années, mais le passage aux avions à réaction plutôt qu’à ceux utilisant des hélices a réalisé un progrès singulier. Depuis lors, les puces et les avions n’ont peut-être pas fait un si grand bond en avant, mais ils sont plus efficaces et plus performants, et l’évolution a suivi ces fonctions sigmoïdes.

Un problème est une opportunité d’amélioration. Si utiliser plus de GPU et plus de données ne suffit plus, il faudra trouver de nouvelles voies pour que l’IA évolue. C'est exactement ce que font la plupart des entreprises. OpenAI a récemment lancé son modèle o1 dans le but d'en faire une « raison » et de faire moins d'erreurs lors des réponses. Il est logique d’améliorer les modèles une fois qu’ils ont été formés. Nous les avons déjà très bien entraînés, maintenant nous devons les améliorer après les avoir entraînés, c'est-à-dire en phase d'inférence, comme le fait o1.

Une pause ne fait pas de mal. Peut-être que cette stagnation théorique est précisément quelque chose dont nous avions besoin dans le monde trépidant de l’IA générative, où tout semblait aller trop vite. Maintenant que les modèles sont suffisamment performants pour certains domaines – l’exemple clair est celui de la programmation – rechercher et développer de nouvelles façons de les faire évoluer semble particulièrement intéressant. Et pas seulement ça.

Sécurité et réglementation. Cela représente également une opportunité de travailler dans d’autres domaines entourant l’intelligence artificielle et qui ont été négligés, insuffisants ou prématurés. Il existe deux exemples clairs : la sécurité et la réglementation. La « stagnation » peut permettre de consacrer du temps à analyser comment développer des modèles d'IA plus sûrs qui ne constituent pas une menace, mais aussi de proposer une réglementation plus conforme à ce que nous avons aujourd'hui et non à ce que l'IA pourrait représenter demain. La loi européenne sur l’IA est un premier pas dans la bonne direction, mais elle n’est pas très clairement définie car elle est tout simplement apparue trop tôt. Comme l’IA, elle doit évoluer et s’adapter à l’évolution de ces modèles et à leur impact.

Images | beata_73601 avec Midjourney

À Simseo | L’obsession réglementaire de l’UE postule un monde dans lequel l’IA aura deux vitesses. Et l'Europe perdra