« Il n’y a pas de langage là-bas » : Atlas veut faire avec le monde physique ce que le LLM a fait avec Internet

On parcourt l’annonce officielle d’Atlas et les choses ne semblent pas si graves. Depuis quelques temps, les modèles d’IA vidéo générative sont capables de créer tous types de scènes avec un réalisme fantastique. Cependant, ce nouveau modèle veut aller au-delà de l’IA générative pour franchir le pas vers des « modèles mondiaux » prometteurs. Atlas est le résultat de cet effort, et la vérité est que la proposition frappe pour deux choses : premièrement, par la manière dont elle parvient à reconstruire notre monde à partir d’informations limitées. La seconde, parce que la personne derrière tout cela est Fei-Fei Li, considérée comme la « marraine de l’IA ».

Atlas n’est pas simplement un autre générateur vidéo. World Labs le décrit comme un modèle multimodal formé à partir de zéro pour fonctionner sur du texte, des images, des positions de caméra, des cartes de profondeur et des séquences vidéo. Tous ces types d’entrées sont combinés pour créer un contexte spatial commun qui permet ensuite de générer de nouvelles observations cohérentes avec l’espace 3D perçu par le modèle. Techniquement, cela s’appelle un , mais ici, ce qui est prédit n’est pas le prochain signe d’un mot ou d’une phrase, mais ce qui devrait être vu ensuite depuis une certaine position dans l’espace.

Vous avez déjà enregistré, déplacez maintenant la caméra. Dans plusieurs des démonstrations de cette annonce officielle, vous pouvez voir, par exemple, comment il existe des scènes enregistrées avec deux ou trois smartphones à partir desquels Atlas peut générer des perspectives qui n’ont été enregistrées avec aucune caméra. Il les crée à partir de rien mais en gardant toujours une cohérence avec les données réelles dont il dispose (à partir d’images, d’enregistrements ou des cartes de profondeur susmentionnées, par exemple). Dans une interview avec a16z, Fei-Fei Li l’a dit clairement : « Il n’y a pas de langage là-bas. Vous ne sortez pas dans la nature et ne voyez pas les mots écrits dans le ciel pour vous. »

Cinéastes du monde, soyez attentifs. On peut par exemple créer une invite qui décrit un chemin de caméra spécifique et très détaillé, et qui permet au modèle mondial de générer une visualisation vraiment convaincante de ces perspectives même si elles n’ont jamais été enregistrées avec de vraies caméras. Cela ouvre des possibilités spectaculaires, comme enregistrer une scène et pouvoir ensuite placer la caméra dans des endroits où elle n’a jamais été pour voir et montrer la scène à partir de là.

Mais Atlas ne voit pas ce qui ne se passe pas. Si nous donnons à ce modèle trois photos d’une pièce, il ne peut pas dire exactement ce qu’il y avait derrière le canapé ou dans un coin qu’aucune caméra n’a capturé. Il s’agit là de générer une solution plausible en inventant des contenus cohérents. World Labs le résume en une phrase : plus vous recevez d’images, moins vous devez imaginer.

Au-delà du cinéma. Bien que les applications pour les créateurs de contenu ou pour l’industrie audiovisuelle et cinématographique soient évidentes, cela peut s’appliquer à divers domaines. L’un des plus prometteurs est la robotique : Atlas peut transformer quelques images d’un lieu réel en un environnement dans lequel un robot virtuel peut naviguer. Le modèle génère les images et les données de profondeur que les capteurs du robot captureraient à partir de différentes trajectoires. L’entreprise appelle cela : capturer un espace réel, le transformer en simulation, puis l’utiliser pour entraîner ou évaluer des robots avant de les lâcher dans le monde physique réel.

Former des robots n’est pas comme former un LLM. Pour apprendre à un robot à ramasser une tasse, nous avons besoin d’une tasse, d’une table, de caméras, de capteurs, d’un robot et d’une multitude de tentatives physiques. De plus, cet environnement change : l’éclairage varie, les objets peuvent bouger et les choses peuvent se briser. World Labs souligne que c’est l’une des grandes difficultés lorsqu’il s’agit de retirer les robots du laboratoire. Ces simulations vous permettent de répéter des tests et de commettre des erreurs sans payer le prix que ces erreurs auraient dans le monde réel. Runway poursuit quelque chose de similaire avec GWM-1, par exemple.

Bienvenue sur « l’Internet des robots ». Avec Atlas, ce qui est proposé, c’est de créer une sorte d’internet parfait pour entraîner les robots. Au lieu d’être constitué de pages Web, il serait constitué d’énormes quantités d’espaces tridimensionnels avec lesquels expérimenter. Atlas ne propose pas encore un produit complet, mais la stratégie de World Labs est de créer des modèles capables de percevoir, de générer, de raisonner et d’interagir avec des mondes virtuels et physiques.

Les jeux vidéo ont déjà franchi une étape marquante dans ce domaine. Chaque jeu en trois dimensions contient des données telles que la géométrie du monde virtuel, des caméras, des objets, des textures, de la physique et des millions de positions à partir desquelles observer un scénario. C’est pourquoi des entreprises commencent à émerger et souhaitent convertir ces mondes virtuels en moyens de formation de ces modèles du monde. Les LLM se sont appropriés des millions de textes et de livres écrits par des humains, mais les modèles spatiaux peuvent tirer parti de ces mondes virtuels construits dans le monde des jeux vidéo, mais aussi dans d’autres domaines comme les simulateurs ou le segment de l’architecture.

De la génération de mondes à l’interaction en leur sein. World Labs insiste depuis longtemps sur une idée simple : voir ne suffit pas. L’intelligence spatiale doit comprendre où se trouvent les choses, comment elles sont liées et ce qui se passe lorsque nous agissons en conséquence. Atlas constitue actuellement une première approche du problème – il n’est disponible qu’en accès anticipé pour des partenaires sélectionnés – mais il pose quelque chose de différent des modèles d’IA qui nous ont accompagnés ces dernières années. ChatGPT et ses concurrents se demandaient quel mot venait ensuite, mais dans Atlas la question est différente : si je me déplace ici, que dois-je voir ?

À Simseo | Alors que la Silicon Valley s’occupait des agents et du code, la Chine s’est emparée d’un domaine crucial de l’IA : vidéo