L’essor fulgurant de l’IA commence-t-il à ralentir ?
Une confiance croissante dans la Silicon Valley pourrait avoir d’immenses implications : les percées des grands modèles d’IA – ceux qui devraient apporter une intelligence artificielle au niveau humain dans un avenir proche – pourraient ralentir.
Depuis le lancement frénétique de ChatGPT il y a deux ans, les partisans de l’IA ont soutenu que les améliorations de l’IA générative allaient s’accélérer de façon exponentielle à mesure que les géants de la technologie continuaient d’alimenter le feu sous forme de données pour l’entraînement et le calcul des muscles.
Le raisonnement était que tenir les promesses de la technologie était simplement une question de ressources : injecter suffisamment de puissance de calcul et de données, et une intelligence générale artificielle (AGI) émergerait, capable d'égaler ou de dépasser les performances du niveau humain.
Les progrès progressaient à un rythme si rapide que des personnalités de premier plan du secteur, dont Elon Musk, ont appelé à un moratoire sur la recherche sur l’IA.
Pourtant, les grandes entreprises technologiques, y compris celle d’Elon Musk, ont continué, dépensant des dizaines de milliards de dollars pour éviter de prendre du retard.
OpenAI, le créateur de ChatGPT soutenu par Microsoft, a récemment levé 6,6 milliards de dollars pour financer de nouvelles avancées.
xAI, la société d'intelligence artificielle de Musk, est en train de lever 6 milliards de dollars, selon CNBC, pour acheter 100 000 puces Nvidia, les composants électroniques de pointe qui alimentent les grands modèles.
Cependant, il semble y avoir des problèmes sur la route vers l’AGI.
Les initiés de l'industrie commencent à reconnaître que les grands modèles de langage (LLM) ne peuvent pas évoluer indéfiniment à une vitesse vertigineuse lorsqu'ils sont alimentés par plus de puissance et de données.
Malgré les investissements massifs, les améliorations des performances montrent des signes de stagnation.
« Les valorisations vertigineuses d'entreprises comme OpenAI et Microsoft reposent en grande partie sur l'idée que les LLM deviendront, avec une évolution continue, une intelligence artificielle générale », a déclaré Gary Marcus, expert en IA et critique fréquent. « Comme je l'ai toujours prévenu, ce n'est qu'un fantasme. »
« Pas de mur »
L’un des défis fondamentaux réside dans la quantité limitée de données linguistiques disponibles pour la formation en IA.
Selon Scott Stevenson, PDG du cabinet de tâches juridiques en matière d'IA Spellbook, qui travaille avec OpenAI et d'autres fournisseurs, s'appuyer uniquement sur les données linguistiques pour la mise à l'échelle est voué à se heurter à un mur.
« Certains laboratoires étaient beaucoup trop concentrés sur l'introduction de plus de langage, pensant que cela allait continuer à devenir plus intelligent », a expliqué Stevenson.
Sasha Luccioni, chercheuse et responsable de l'IA chez la startup Hugging Face, affirme qu'un ralentissement des progrès était prévisible étant donné l'accent mis par les entreprises sur la taille plutôt que sur l'objectif du développement de modèles.
« La poursuite de l'AGI a toujours été irréaliste, et l'approche « plus c'est gros, mieux c'est » en matière d'IA finirait forcément par atteindre ses limites – et je pense que c'est ce que nous constatons ici », a-t-elle déclaré à l'AFP.
L’industrie de l’IA conteste ces interprétations, affirmant que les progrès vers une IA à l’échelle humaine sont imprévisibles.
« Il n'y a pas de mur », a déclaré jeudi le PDG d'OpenAI, Sam Altman, sur X, sans plus de précisions.
Le PDG d'Anthropic, Dario Amodei, dont la société développe le chatbot Claude en partenariat avec Amazon, reste optimiste : « Si vous observez simplement la vitesse à laquelle ces capacités augmentent, cela vous fait penser que nous y arriverons d'ici 2026 ou 2027. »
Il est temps de réfléchir
Néanmoins, OpenAI a retardé la sortie du successeur attendu de GPT-4, le modèle qui alimente ChatGPT, car son augmentation de capacité est inférieure aux attentes, selon des sources citées par The Information.
Désormais, l’entreprise se concentre sur une utilisation plus efficace de ses capacités existantes.
Ce changement de stratégie se reflète dans leur récent modèle o1, conçu pour fournir des réponses plus précises grâce à un raisonnement amélioré plutôt qu'à une augmentation des données d'entraînement.
Stevenson a déclaré que le passage d'OpenAI à l'enseignement de son modèle pour « passer plus de temps à réfléchir plutôt qu'à répondre » a conduit à des « améliorations radicales ».
Il a comparé l’avènement de l’IA à la découverte du feu. Plutôt que de dépenser davantage de carburant sous forme de données et de puissance informatique, il est temps d’exploiter ces avancées pour des tâches spécifiques.
Walter De Brouwer, professeur à l'Université de Stanford, compare les LLM avancés aux étudiants passant du lycée à l'université : « Le bébé de l'IA était un chatbot qui faisait beaucoup d'improvisation » et était sujet aux erreurs, a-t-il noté.
« L'approche homo sapiens consistant à réfléchir avant de sauter est en train d'arriver », a-t-il ajouté.
