augmentez le loyer de votre NVIDIA
Les prix des GPU explosent. Je ne parle pas du RX 9000 d’AMD ou du RTX 5000 de NVIDIA, puisque ceux-ci sont destinés aux joueurs. Je parle des GPU qui sont soudainement les seuls qui comptent : les GPU pour les hyperscalers IA. AI Big Tech a paralysé l’ensemble du marché de consommation, prenant en charge la production des quelques fabricants de composants existants dans le segment et provoquant de brutales pénuries.
Bonne chance si vous souhaitez acheter un SSD ou une RAM, mais cela impacte aussi les entreprises. Valve ne peut pas publier la Steam Machine et Apple vient de supprimer l’option Mac Mini et Mac Studio avec le plus de RAM. Autrement dit, soit il n’y en a pas… soit ce qui existe coûte extrêmement cher. Et l’ironie est que cette situation commence à avoir un impact sur le secteur de l’IA lui-même, où certains doivent désormais payer pour louer des GPU NVIDIA à un prix presque double.
Il s’agit du modèle GPU en tant que service.
Prix exorbitants pour les GPU cloud
Ici, nous devons faire la différence entre les hyperscalers et les entreprises d’IA qui ne disposent pas de leurs propres installations. Amazon, Microsoft, Meta, Tesla ou Google, entre autres, sont des hyperscalers. Ils construisent de gigantesques centres de données qu’ils remplissent de dizaines de milliers de GPU (qui proviennent généralement de NVIDIA, puisque c’est celui qui domine ce marché) pour répondre à leurs besoins.
Ils y effectuent les tâches de formation et d’inférence de leurs modèles, mais certains sont devenus des prestataires de services. Amazon Web Services, Google Cloud et Microsoft Azure entretiennent une activité parallèle, celle d’énormes bailleurs de GPU NVIDIA. Ils achètent d’énormes lots de H100, H200 et A100 qu’ils intègrent dans leur infrastructure et louent simplement leur capacité de calcul à celui qui est prêt à en payer le prix.
C’est comme le jeu cloud de NVIDIA avec GeForce Now : une entreprise qui s’intéresse à l’IA, mais qui ne peut pas construire un centre de données, peut payer pour louer cette capacité informatique à de gros locataires. Jusqu’ici tout va bien, car c’est gagnant-gagnant pour toutes les parties, mais le problème survient lorsque la pénurie frappe.
Il n’y a pas que Google, Microsoft et Amazon qui sont sur ce terrain de jeu. Il existe d’autres sociétés plus axées sur le secteur des GPU cloud, comme CoreWeave, qui a déjà augmenté il y a quelques mois les prix de location de 20 %. Cela a coïncidé avec les premiers stades de la crise de la RAM et des SSD. Et la hausse des prix n’est pas le seul changement. À partir de l’année précédente du contrat de permanence, l’exigence est passée à trois ans.
Dans un article de Business Insider, on voit plus clairement le prix de cette demande qui dépasse l’offre. Carmen Li est PDG de Silicon Data, une société d’analyse, et a déclaré que les vétérans H100 de NVIDIA ont augmenté de 20 % au cours des trois derniers mois, passant de 2,20 $ de l’heure à 2,64 $. Les B200 vont dans le même sens : de 4,40 $ de l’heure à 5,35 $.
Le problème vient des H200, puisque l’on y connaît des hausses de prix de location de 48 %. De 2,75 $/heure il y a quelques mois, ils sont passés à 4,08 $/heure. C’est presque le double pour le même produit, car ceux qui en ont le plus besoin veulent encore plus de puissance pour leurs modèles les plus récents, car on injecte tellement d’argent dans ce secteur que de plus en plus d’entreprises sans centres de données ont besoin de plus de puissance de calcul pour leurs produits.
Les fabricants de composants pour ces GPU ne peuvent pas répondre à la demande excessive, ce qui entraîne des délais d’attente pour les nouvelles puces compris entre 36 et 52 semaines et donc, comme il n’y a pas de GPU pour tout le monde, les prix de location du cloud computing… augmentent.
Entre les trois grands et Meta, ils vont dépenser plus de 650 milliards en infrastructures d’IA cette année et Carmen Li souligne que, puisque cette demande d’IA dépasse toutes les attentes, non seulement il n’y en a pas assez pour tout le monde, mais les vieux GPU que les hyperscalers vendent lors du renouvellement des équipements se déprécient très, très peu. La deuxième année d’utilisation d’un H100, il peut être vendu 85 centimes. La troisième année, pour 84 cents.
Selon plusieurs voix du secteur, il s’agit d’un tsunami qui a déjà balayé le marché de la consommation, mais avec la montée de l’IA agentique, la situation va s’aggraver. Car il ne s’agit plus seulement de formation et d’inférence de base, mais d’agents qui exécutent plusieurs étapes de manière autonome, consommant plus de capacité de calcul par requête que les requêtes traditionnelles adressées à un chatbot.
Traduction : qu’un marché que certains préconisent comme stable est en train de devenir quelque chose comme celui de l’électricité ou de l’énergie, une montagne russe de prix qui joue avec les règles du capitalisme sauvage.
À Simseo | Utiliser Netflix en 2018 était bien mieux qu’aujourd’hui : nous avons normalisé les expériences dégradantes
