mieux vaut utiliser ceux de NVIDIA

Meta fait face à une année cruciale. Pendant que ses concurrents posaient les bases de l’IA, Meta brûlait de l’argent dans le métaverse. Ceci, combiné à une approche totalement différente de ce que Google ou OpenAI faisaient avec l'IA, a amené l'entreprise de Zuckerberg à passer quelques années dans le sillage. Après avoir réorganisé la maison et signé l'équipe AI A, Meta préparait à la fois un grand modèle et de nouvelles puces pour l'entraînement.

Les choses… ne se sont pas déroulées comme prévu.

MTIA. Au sein des différentes équipes Meta axées sur l’intelligence artificielle, il en existe une connue sous le nom de MTIA. Il vient de « Meta Training and Inference Accelerator » et son objectif était de rechercher et de concevoir ses propres puces de formation pour l'intelligence artificielle. Avoir sa propre puce a tout son sens, puisqu’elle est conçue en fonction de vos besoins.

Ils ont un autre avantage : vous ne dépendez de personne d’autre. Si NVIDIA ne dispose pas de suffisamment de puces, cela n'a pas d'importance car vous avez les vôtres et pouvez continuer à faire évoluer les systèmes des centres de données (et les méta sont énormes) pour continuer les tâches de formation et d'inférence. Meta n'allait pas être en charge de la fabrication, ce que le très réputé TSMC ferait, mais le programme a mal démarré.

C'est très difficile. Reuters l'avait déjà commenté l'année dernière. Après avoir testé sa première puce d’entraînement développée en interne, Meta s’est rendu compte que les choses n’allaient pas bien. C'était en deçà de ce à quoi ils s'attendaient, et c'était également pire que la concurrence. Ils n’ont pas jeté les puces, mais les ont plutôt renvoyées vers d’autres systèmes (comme les systèmes de recommandation Facebook et Instagram basés sur des algorithmes). Le problème est que les performances de la puce d’entraînement, celle qui est vraiment importante pour la carrière de l’IA, n’étaient pas suffisantes.

Changement de stratégie. L'information fait écho à une déclaration de Meta selon laquelle la société reste engagée « à investir dans différentes options de silicium pour répondre à nos besoins, ce qui inclut l'avancement de notre division MTIA » et nous exhorte à rester attentifs aux nouvelles qui seront partagées tout au long de cette année. Cependant, dans le même média, il est à noter que Meta a considérablement revu à la baisse ses attentes concernant ses puces.

L'idée était d'avoir deux jetons. D’un côté, Iris, une puce de formation à instruction unique facile à concevoir, mais dont il est difficile d’extraire tout le jus dans ces tâches de formation à l’intelligence artificielle. D'autre part, Olympus, une puce qui serait achevée vers la fin de cette année et qui constituerait la partie centrale des pôles de formation de Meta. Selon The Information, il y avait de nombreux doutes en interne sur la stabilité d'Olympus, sa conception complexe et sa rentabilité, ils l'ont donc laissé dans le tiroir pour se concentrer sur des puces plus « simples ».

La preuve. En fin de compte, si vous ne parvenez pas à battre votre « ennemi », rejoignez-le. Les sources consultées par The Information soulignent que, en plus d'autres complications, le logiciel de formation n'était pas aussi stable que ce que proposent des alternatives comme celles de NVIDIA. Et tout cela a fini par donner lieu à deux accords de plusieurs millions de dollars.

En quelques jours, Meta a signé des accords avec AMD et NVIDIA pour que les deux fournissent des puces pour entraîner l'IA. C'est gagnant-gagnant pour tout le monde car Meta reçoit ce dont il a besoin, NVIDIA a un autre client sur une liste qu'il domine et AMD continue de se faire un nom dans le secteur grâce à des accords comme celui-ci ou celui signé l'année dernière avec OpenAI. De plus, Meta sécurise plusieurs sources pour ne pas dépendre d’une seule entreprise. En fait, on estime également qu'ils ont signé un accord pour louer des unités TPU auprès de Google.

La compétition. L'objectif de Meta est donc de diversifier autant que possible son portefeuille de fournisseurs de puces IA tout en continuant à enquêter sur ses propres puces dont, soi-disant, nous apprendrons les détails plus tard. Ils peuvent continuer à enquêter sur Olympus ou une variante ou décider d’une autre approche.

Car ce qui est clair, c'est qu'ils doivent développer quelque chose qui leur est « propre ». NVIDIA et AMD sont des fournisseurs et non des concurrents en tant que tels. Les vrais concurrents sont OpenAI, X et Google, et les deux derniers ont leurs usines à pleine capacité. Google avec ses TPU, des processeurs conçus exclusivement pour l'IA, et xAI avec ses propres puces qu'ils ont abandonnés et repris plus récemment.

Objectif : détrôner NVIDIA. Et tout cela se produit dans un monde dans lequel tout le monde est à la fois « amis », mais ennemis. J'ai déjà dit que NVIDIA est un fournisseur de matériel, mais ils contrôlent pratiquement le marché de l'informatique IA et évoluent à la fois dans le matériel et dans les logiciels. Il est logique que d’autres entreprises étudient des alternatives pour booster leur propre IA.

À la liste s'ajoute Amazon qui fabrique également des puces appelées Trainium3 UltraServer et OpenAI avec son accord avec Broadcom pour fabriquer des puces. C’est, comme je l’ai dit, un scénario curieux : tout le monde a besoin les uns des autres, et il y a « l’économie circulaire » de l’IA, mais en même temps tout le monde veut être indépendant.

Le problème est que NVIDIA a un énorme avantage en la matière et possède à la fois la technologie et les contrats avec les fabricants de mémoire… et les contacts avec celui qui finit par fabriquer les meilleures puces : TSMC.

À Simseo | Trump a ordonné au Pentagone de cesser d'utiliser Claude comme une « IA réveillée ». Juste après avoir bombardé l'Iran avec Claude