Mark Zuckerberg explique en deux minutes pourquoi les Big Tech vont continuer à dépenser de l'argent pour l'IA comme s'il n'y avait pas de lendemain
La semaine dernière, Meta a organisé un événement au cours duquel elle nous a parlé de ses lunettes de réalité augmentée Orion ou des Meta Quest 3S. Mais il en a aussi profité pour présenter Llama 3.2, la nouvelle version de son LLM désormais également très tournée vers la conquête de nos téléphones portables. Dans une interview commentant ces lancements, Mark Zuckerberg a évoqué un sujet important : pourquoi ils investissent de l'argent dans l'IA comme s'il n'y avait pas de lendemain.
L'IA avait des limites. Dans une récente interview avec YouTuber Cleo Abram, Mark Zuckerberg a expliqué comment, dans les architectures d'IA précédemment explorées, vous pouviez alimenter le système avec une certaine quantité de données, mais à un moment donné, cela n'avait pas d'importance si vous l'alimentiez avec plus de données ou utilisiez plus de ressources pour entraînez-le : vous êtes arrivé dans une impasse et il n'a pas avancé plus loin.
Mais maintenant, il ne semble pas l'avoir. Cependant, avec les systèmes basés sur l'architecture « Transformer », cette impasse ne semble jamais être atteinte. Ces dernières années, ces systèmes n'ont cessé d'être alimentés par de plus en plus de données et les infrastructures de formation et d'inférence ne cessent de croître, mais ce n'est pas grave : les modèles continuent de s'améliorer. Comme le dit Zuckerberg, « nous n'avons pas encore trouvé la limite ».
La flamme continuera de croître. Le PDG de Meta a souligné qu'à cause de cela « cela nous amène à cette dynamique dans laquelle nous pourrions entraîner Llama 3 avec entre 10 et 20 000 GPU, puis entraîner Llama 4 avec plus de 100 000 et avec Llama 5, nous pourrions évoluer encore plus, et là Cela soulève une question intéressante : jusqu’où pouvons-nous aller. »
Mais ils ont peut-être tort. Zuckerberg est cependant conscient qu’ils peuvent se tromper. « Il est tout à fait possible qu'à un moment donné nous atteignions la limite », mais il estime que nous n'atteindrons pas cette limite de si tôt. Ils parient clairement là-dessus, mais il admet qu’il n’est pas sûr de ce qui peut arriver. Bien sûr, pour le moment, c’est clair : ils continueront à investir de l’argent sans s’arrêter.
C'est ce qu'ils font tous. Le discours de Zuckerberg conforte la situation actuelle. Pas seulement celui de Meta, mais celui de toutes les grandes entreprises technologiques, qui ont investi des sommes absolument énormes, convaincues que les modèles d’IA sont bel et bien l’avenir.
Qualifications. Yann LeCun, responsable de l'IA chez Meta, a également partagé ce commentaire sur « si nous recherchons une IA au niveau humain, mais « elles sont quand même très utiles à court terme ». Pour lui, toute cette infrastructure peut aller au-delà de la simple compression des modèles d’IA générative actuels.
Zuck dit cela parce qu'il doit le dire.. Les propos de Mark Zuckerberg ne sont pas du tout surprenants : il doit défendre son pari sur l'IA comme il l'a fait auparavant avec le pari du métaverse. Avec celui-là, il a perdu et continue de perdre une véritable fortune, mais à cette occasion, Meta était le seul à faire confiance au concept. Aujourd’hui, ils ont pivoté et ont laissé le métaverse en arrière-plan – mais ils travaillent toujours sur le concept – mais la différence est que leur engagement clair en faveur de l’IA n’est pas seulement le leur : c’est toute une industrie. Cela ne veut pas dire que l’ensemble du secteur ne peut pas se tromper, bien sûr : Zuckerberg lui-même le souligne dans ses commentaires.
À Simseo | OpenAI brûle de l'argent comme s'il n'y avait pas de lendemain. La question est combien de temps peut-il tenir ainsi ?
