Apple souhaite que Siri AI soit partout. Dans le même temps, elle limite les dépenses symboliques de ses employés à 200 dollars.
Apple souhaite que ses utilisateurs utilisent à tout moment la nouvelle Siri AI sur leurs appareils. Apple le vend comme son grand retour dans l’IA. Mais à huis clos, quelqu’un a examiné l’Excel (ou les chiffres, dans son cas) des dépenses d’IA de ses employés et a commencé à découper les budgets quotidiens des jetons que les équipes Apple peuvent utiliser pour améliorer leur travail.
Cette réduction du budget symbolique de ses employés n’est pas seulement l’affaire d’Apple. De nombreuses entreprises qui, jusqu’à il y a quelques mois, invitaient leurs employés à utiliser l’IA dans leur travail, ont déjà reçu leur première facture pour les jetons consommés. Le choc a dû être si grand qu’ils ont fermé le robinet.
Apple coupe les jetons. Selon ce qui a été publié par , le mois dernier, Apple a discrètement réduit la limite d’utilisation quotidienne des jetons de certains ingénieurs de 300 $ à 200 $. Aujourd’hui, l’entreprise Ternus étudie une baisse encore plus importante et le laisse à 100 $ pour certains équipements.
En dehors de l’ingénierie, certains groupes d’employés passaient de 100 dollars en jetons à 25 dollars par jour. Quiconque a besoin de plus peut demander une dérogation et son utilisation sera étudiée. Les employés Apple ont accès à Claude, ChatGPT et Gemini. Même ainsi, certaines équipes auraient déjà été invitées à utiliser des modèles moins chers ou fonctionnant localement sur l’appareil lui-même.
La facture est-elle si chère ? Cette réduction du budget pour l’utilisation de l’IA parmi son personnel attire l’attention sur l’entreprise technologique ayant la plus grande capitalisation boursière. Si Apple ne peut pas payer l’open bar de jetons pour ses employés, qui le peut ?
Selon ses comptes, l’entreprise a dépensé 45,765 millions en R&D au cours de son dernier exercice, soit 32% de plus que l’année précédente. Apple attribue cela en partie à l’investissement dans l’IA. Alors pourquoi réduire ? Les employés cités par soutiennent que « peu de travailleurs ont utilisé la totalité de leur indemnité journalière de 300 $ », de sorte que les économies réelles pourraient être minimes. D’autres employés ont exprimé leur crainte que cette limitation budgétaire puisse être le prélude à de nouvelles réductions ou à d’éventuels licenciements, comme c’est le cas dans d’autres entreprises technologiques.
Nvidia pense exactement le contraire. Jensen Huang l’a clairement indiqué sur le podcast. Il serait très inquiet si un ingénieur avec un salaire de 500 000 $ dépensait moins de 250 000 $ en jetons d’IA. Lorsqu’on lui a demandé si Nvidia dépensait environ 2 milliards de dollars par an en jetons pour ses ingénieurs, le PDG a répondu : « Nous essayons ».
Les déclarations de Huang ont leur logique. Nvidia vend les puces sur lesquelles fonctionnent ces modèles, donc chaque jeton brûlé représente un peu plus d’investissement en puissance de calcul et plus de ventes pour ses puces. A Cupertino, qui vient juste de payer la facture, le message est bien différent.
Apple n’est pas le premier. Le ralentissement du phénomène dit survient il y a des mois. Dans Meta, il y avait une course interne pour être celui qui dépensait le plus de jetons. Sur Amazon, ils ont clôturé un classement similaire en mai. Sa note ultérieure décourage le tokenmaxxing, mais la société affirme qu’elle n’a pas fixé de limites.
Chez Microsoft, un seul employé a brûlé 28 000 $ de jetons en un mois seulement. Microsoft a réagi. Son vice-président Jay Parikh a écrit dans un email interne auquel il a eu accès que « le tokenmaxxing n’est pas ce que nous optimisons ».
Revolut change de modèle. Avec les factures symboliques sous les projecteurs, certaines entreprises cherchent une autre issue. Revolut a demandé à quelque 2 000 ingénieurs de programmer par défaut avec GLM, un modèle chinois de pondération ouverte. Ses paramètres sont publics et peuvent être exécutés sur ses propres serveurs, ce qui permet de réduire considérablement le coût en tokens.
Le responsable de l’infrastructure de Revolut, David Abitbol, a déclaré qu’ils payaient un dixième du prix des modèles frontières. De plus, la facture est fixe et n’augmente pas à chaque demande. Avant, les 300$ par mois et par ingénieur pour Claude Code ne duraient pas tout le mois, désormais la limite de requêtes est définie par ses propres serveurs.
À Simseo | Du « tokenmaxxing », nous sommes passés au « tokenwasting » : le niveau de gaspillage dans l’IA atteint des niveaux sans précédent
Images | Unsplash (wang binghua)
