Amazon voulait faire d'Alexa l'ennemi juré de ChatGPT. Le projet a fini par être le chaos

En septembre dernier, Amazon semblait prêt à lancer sa révolution particulière dans le monde de l’IA. Lors d'un événement à Washington DC, les responsables de l'entreprise nous ont montré la nouvelle version d'Alexa. Son assistant vocal nous a invités à discuter avec lui de toutes sortes de sujets. Je voulais être aussi stupide qu’un roc et il semblait que je pourrais peut-être le faire. Et puis, silence.

Où est la nouvelle Alexa ? Il a été supposé qu'après la présentation, le déploiement d'Alexa, qui semblait vraiment prometteur, s'étendrait rapidement aux environ 500 millions d'appareils dotés de cet assistant. Cependant, Amazon n'a pas donné plus de nouvelles sur l'évolution du projet, et ce n'est qu'en janvier 2024 que des rumeurs sont apparues selon lesquelles Alexa pourrait apparaître cette année… avec un abonnement en main. Que se passe-t-il? Pourquoi cette nouvelle version n’est-elle pas sortie ?

Chaos sur Amazon. Selon des sources de l’entreprise citées dans Fortune, le problème vient d’Amazon. L'organisation, disent-ils, est en proie à des « dysfonctionnements structurels » qui ont retardé à plusieurs reprises le lancement d'une nouvelle Alexa alimentée par l'IA générative.

La démo, c'était ça. une démo. Même si la présentation d'Alexa en septembre dernier était accrocheuse, il ne s'agissait que d'une démo. Cette version n’était pas prête à être déployée et ne l’est toujours pas aujourd’hui. Le LLM sur lequel il s'appuie est « loin d'être à la pointe », et les raisons sont variées.

Pas de données, pas de GPU. Les scientifiques interrogés qui ont travaillé sur le projet ont expliqué dans Fortune qu'Amazon ne disposait pas de suffisamment de données pour entraîner le modèle, ni de suffisamment de puces pour l'entraîner et le faire fonctionner de manière compétitive.

Faisons mieux de créer un chatbot pour le cloud. Au lieu de continuer à travailler à plein régime sur Alexa, Amazon semble avoir changé d'orientation et développe un modèle d'IA générative destiné à Amazon Web Services. L'entreprise a investi 4 milliards de dollars dans Anthropic, le créateur de Claude, mais jusqu'à présent, cela n'a aidé ni d'un côté ni de l'autre.

Amazon nie l'existence de problèmes. Une porte-parole d'Amazon a déclaré à Fortune que les données fournies étaient anciennes, ajoutant que la société avait accès à des centaines de milliers de GPU. Il nie également qu'Alexa ait été dépriorisée ou qu'ils n'utilisent pas Claude, mais n'a pas fourni de détails sur la manière dont ils le font.

Siri dépasse Alexa par la droite. C'est du moins ce qu'il semble après les annonces de cette semaine à la WWDC 2024. Apple y a présenté une version améliorée de Siri avec une voix synthétique plus naturelle et la possibilité pour l'assistant d'effectuer des actions via les applications auxquelles il se connecte. L'intégration avec ChatGPT est une autre des options marquantes d'un assistant vocal lancé en 2011 et qui, même en oubliant certains des appareils qui pourraient l'améliorer, dispose désormais d'une nouvelle opportunité. Alexa pourrait être laissée pour compte.

Les anciens salariés d'Amazon ne sont pas optimistes. Mihail Eric, un expert en apprentissage automatique qui a travaillé sur Alexa AI, a récemment publié un long article sur l'entreprise « criblée de problèmes techniques et bureaucratiques ».

Et l'Olympe ? En novembre dernier, il a été révélé qu'Amazon avait un projet en cours pour créer un gigantesque LLM appelé Olympus avec deux mille milliards de paramètres. C'est le double de ce que GPT-4 est censé utiliser, mais l'une des personnes interrogées dans Fortune indique que ce chiffre « est une blague ». En réalité, déclare-t-il, le plus grand modèle dont ils disposent est d'environ 470 milliards de paramètres (470B), soit un quart de ce qu'Olympus aurait théoriquement. Pendant ce temps, le LLM de cette nouvelle version d'Alexa est d'environ 100 milliards, et ils travaillent apparemment maintenant à le peaufiner.

Lent. Les progrès d'Alexa en LLM sont encore modestes. Selon les données publiées, Llama 3 a été pré-entraîné avec 15 milliards de jetons, alors qu'Alexa LLM n'a pu le faire qu'avec 3 milliards. Son réglage fin est également pire que celui du modèle de Meta, qui utilisait 10 millions de points de données contre seulement un million dans le cas d'Amazon.

Trop de monde, trop de complexité. Le projet s'est éloigné des fameux groupes de travail « deux pizzas » de Jeff Bezos, et rassemble désormais quelque 10 000 salariés qui travaillent également dans différents scénarios d'usage, comme la maison, le shopping, la musique ou le divertissement. Cela ne rend pas les choses plus faciles, mais malgré cela, Amazon est convaincu – tout comme certaines des personnes interrogées – que ce LLM pour Alexa finira par apparaître sur le marché.

Images | Jonathan Borba

À Simseo | Amazon a repris le nom « Alexa ». 90% moins habitués à appeler les nouveau-nés qu’avant le premier Echo