La couverture d’AI est Meta. Il parie là-dessus depuis plus d'une décennie et possède déjà bien plus que LLaMa

Meta est connu pour être propriétaire de Facebook, Instagram et WhatsApp. Egalement pour son insistance sur le Metaverse, le Meta Quest 3 ou encore le Ray-Ban Meta. Mais au-delà des passionnés de technologie, l’Intelligence Artificielle n’est pas aussi connue qu’OpenAI ou Google. Ce qui ne veut pas dire, comme le savent ceux d’entre nous qui suivent de près cette industrie, que Meta n’est pas là..

En fait, il existe depuis longtemps. Tout a commencé avec FAIR (Fundamental AI Research, anciennement Facebook AI Research), un laboratoire créé en 2013 basé à Menlo Park – où est basé l'entreprise –, à Londres et à New York.

Son objectif, étudier la science des données, l'apprentissage automatique et l'IA, Ils semblaient étrangers à ce qu’était l’entreprise à cette époque : essentiellement Facebook, dans une moindre mesure Instagram. Très peu d'autre. L’achat de WhatsApp n’avait même pas encore été réalisé.

Aujourd’hui, FAIR s’appelle Meta AI et ses avancées sont allées bien plus loin. Uno de sus hitos fue la predicción de la estructura tridimensional de 600 millones de proteínas en 2022. Y ahora, visitando la sede parisina de Meta AI, hemos podido hablar con algunos de sus líderes sobre el pasado, presente y futuro de esta ambición de la entreprise.

Technologie dure, rendements futurs

« La plupart des applications d'IA que nous voyons aujourd'hui dans les produits Meta sont le résultat d'années de recherche et de développement », explique-t-il. Joëlle Pineau, vice-président de la recherche sur l'IA chez Meta. Où se reflètent-ils ? Principalement dans les fonctions de classification et de recommandation, ainsi que dans certaines fonctions spécifiques des applications. Par exemple, dans le recadrage d’images.

Le parcours de Meta dans ce domaine a été curieux. Leurs revenus proviennent de la publicité, qu'ils maximisent en gardant leurs utilisateurs le plus longtemps possible au sein de leurs applications. Leurs efforts en matière d’IA, en revanche, datent d’il y a plus de dix ans, et le pari a été fait sur la technologie dure, sans savoir quels résultats ils obtiendraient et comment ils pourraient les rentabiliser.

Parfois, ces résultats ne se présentent pas tant sous la forme de fonctions évidentes pour l'utilisateur, mais plutôt sous forme d'améliorations subtiles, qui décident même de ce que l'utilisateur ne verra pas. Comme suppression automatique du contenu inappropriéComme l'explique Pineau : plus de 95 % des contenus liés aux discours de haine et aux contenus violents sont supprimés de la plateforme avant qu'une seule personne puisse les voir. À l'intérieur ou à l'extérieur de l'entreprise. C'est-à-dire qu'ils soient utilisateurs ou modérateurs. Une réussite liée à l’utilisation de l’IA dans les algorithmes à cet effet.

Quelque chose de similaire à ce que vous obtenez dans le domaine de la publicité : afficher des publicités beaucoup plus intéressantes pour chaque utilisateur et réduisez l’exposition à la publicité qui ne vous intéresse pas.

Et dans le même ordre d'idées, l'entreprise a récemment annoncé quelque chose : l'étiquetage du contenu comme « réalisé avec l'IA », qu'il soit audio, vidéo ou image, si des indicateurs de cela sont détectés ou si l'utilisateur lui-même l'a révélé. L’objectif est ainsi de réduire les cas possibles de manipulation et d’augmenter la transparence. Cela commencera à prendre effet en mai.

Dans les résultats les plus tangibles, quelques nouveaux venus, les Ray-Ban Meta, que nous avons pu tester récemment. Il s'agit d'un produit que l'on pourrait définir comme stratégique pour Meta : ils sont non seulement un moyen de capillariser sa présence dans le monde, mais aussi le meilleur moyen d'amener le monde à utiliser Meta AI, son chatbot.

Siri, Alexa ou Google Assistant ont leurs produits physiques prêts à être invoqués par l'utilisateur. Meta a besoin de ses propres produits physiques pour ne pas avoir à compter sur l'utilisateur pour ouvrir une application, avec les frictions que cela implique.

Les Ray-Ban Meta ont leur meilleur territoire aux États-Unis, car c'est dans le pays d'Amérique du Nord que vous pouvez tirer le meilleur parti de cet assistant. Par exemple, utiliser ces lunettes comme écouteurs grâce auxquels nous pouvons lui parler et lui poser des questions sur ce dont nous avons besoin à tout moment. En dehors de là, son assistant est beaucoup plus limité, pour l'instant.

Et si nous parlons de quelque chose présent dans une application, pas sur un appareil, nous avons le modèle Segment Anything, qui permet de séparer les objets des images d'un simple toucher. C'est quelque chose d'orienté du côté commercial de l'inclure comme fonction sur des réseaux comme Instagram pour créer ou éditer des images. Il a sa propre démo publique.

Le travail accumulé dans Meta AI ne se limite pas aux fonctions, évidentes ou subtiles, pour ses plateformes : il maintient l'engagement de recherche ouverte à travers la construction et la diffusion publique de modèles, et le code en rapport.

PyTorch, une bibliothèque de développement de , a commencé comme un projet interne visant à accélérer la productivité de ses chercheurs. Aujourd'hui, non seulement il est publié, mais il constitue également un élément clé dans le développement de nombreux outils d'IA pertinents, de l'Autopilot de Tesla à ChatGPT.

Ces dernières années, logiquement, le pari principal a été l’IA générative. Pineau considère que l'unification organisationnelle chez Meta a été essentielle pour ce saut, réunissant l'équipe IA fondamentale et l'équipe IA générative, pour parvenir à « un transfert beaucoup plus rapide de la recherche à la production ».

Concernant l'avenir vers lequel se dirige le laboratoire, le vice-président affirme que l'entreprise travaille à la création de « modèles mondiaux » plus avancés qui pourront capturer et comprendre les informations multimodales pour faire un raisonnement et une planification plus précis.

Ici, la présence d'appareils de réalité augmentée et virtuelle, comme le Meta Quest 3, au sein de l'entreprise est bien contextualisée : il ne s'agit pas seulement de vendre un produit et de créer une plateforme en son sein, mais de profiter des évolutions dans la compréhension du environnement dans deux directions.

Ces efforts, un an et demi après l'arrivée de ChatGPT, qui ont agité comme personne auparavant le guêpier pour éveiller l'intérêt du grand public pour l'IA, on pourrait supposer qu'ils ont à voir avec l'arrivée tant vantée de AGI (Intelligence Artificielle Générale, qui surpassera l'être humain dans toutes les facettes de la connaissance).

Absolument. Ou du moins pas avec ce terme.

Yann LeCun, vice-président et scientifique en chef de l'IA chez Meta, est un poids lourd de l'entreprise et du secteur. Il a remporté le prix Turing en 2018 et est, entre autres, l'un des créateurs de la technologie de compression d'image DjVu. Et selon lui, le terme « AGI » n’a aucun sens, puisque l’intelligence humaine est « très spécialisée ».

En outre, il estime que l’IA et l’apprentissage automatique ont apporté des améliorations significatives, mais qu’ils ne peuvent toujours pas égaler la vitesse et l’efficacité de l’apprentissage humain. Même l'apprentissage des animaux.

À votre avis, la technologie est encore loin de pouvoir reproduire l'intelligence humaine « ou celle d'un chat domestique », mettant en évidence des déficiences en matière de compréhension, de mémoire persistante, de planification et de raisonnement. Et en même temps, détruire les prédictions qui suggèrent une réalisation imminente dans ce domaine. Un excès d'optimisme.

Qu’est-ce qui dépend de la poursuite des progrès de l’IA pour surmonter ces limites ? « Ce qui a apporté des progrès, c'est ce qu'on appelle l'apprentissage auto-supervisé », explique LeCun. Celui qui permet aux systèmes de comprendre et de manipuler le langage plus efficacement, en plus de leur permettre de modéliser et de comprendre le monde physique, un défi particulièrement complexe.

L'architecture d'IA qu'il propose à cet effet est une architecture « orientée vers les objectifs », qui se concentre sur la réalisation de ces objectifs tout en respectant les limites à la fois éthiques et de sécurité. En ce sens, il différerait des modèles génératifs tant par son approche que par son application.

LeCun considère qu'aujourd'hui les machines n'apprennent pas comment le monde fonctionne, Faites la comparaison avec un enfant de dix ans : il est capable d'apprendre à nettoyer la table ou à mettre le lave-vaisselle en quelques minutes, mais aujourd'hui, les robots ne peuvent pas égaler cela. Ou avec un garçon de 17 ans : il peut apprendre à conduire avec vingt heures de pratique, mais aujourd'hui nous n'avons toujours pas de conduite autonome de niveau 5 sans limites. C'est là qu'intervient le paradoxe de Moravec : l'IA rend facile ce qui est difficile pour un être humain, et vice versa.

Pour l’instant, l’avenir de Meta AI avoué par ses propres porte-parole est être accessible sur toutes les plateformes, y compris WhatsApp, aussi bien pour les particuliers que pour les entreprises.

Quelque chose de similaire à l'assistant du Ray-Ban Meta : n'attendez pas qu'il soit invoqué sur un appareil étranger. Ni dans une application spécifique, mais dans celles que les utilisateurs utilisent déjà, un plan annoncé en septembre qui n'a pas encore atteint le grand public.

Et l'avenir des assistants virtuels, selon lui, passe par être open source et constituer une infrastructure partagée (comme l'Internet d'aujourd'hui) pour devenir un dépositaire de toutes les connaissances et de la culture humaines. Et il souligne l'importance de l'open source : « la culture et le savoir ne peuvent pas être contrôlés par quelques entreprises sur la côte ouest américaine ou en Chine ».

En parlant de modèles et revenons au présent : LLaMA, le LLM de Meta, vient d'annoncer sa version 3, elle est disponible au format web, elle dispose des versions 8B et 70B (respectivement 8 000 et 70 000 millions de paramètres), et une version 400B arrive multimodale avec 400 000 millions de paramètres.

Et aussi, sûrement son plus grand fait différentiel : C'est open source, ou presque. Parce que c'est un peu comme utiliser une licence communautaire, mais sans être totalement . Cependant, il marque déjà une différence importante par rapport à ses concurrents.

Pourquoi l'open source ? Car ils parviennent ainsi à se positionner de manière plus attractive pour les grands chercheurs. Meta n’a pas manqué l’occasion de souligner qu’il est choquant de penser qu’un petit nombre de personnes réunies dans une salle fermée, sans responsabilité ni transparence, feront toujours ce qu’il faut.

LeCun conclut l'interview sans éviter une question sur l'avenir du métaversepuisque son investissement spectaculaire est pour le moins en suspens, du moins face à l'opinion populaire.

« Comme l'IA, c'est un investissement à long terme. La question est la suivante : arriverons-nous là où nous voulons aller avant de manquer d'argent ? C'est essentiellement l'objectif de la recherche. Ou avant que ceux qui attendent ces résultats ne perdent la tête. » patience. L'entreprise et Zuckerberg ont été très clairs sur le fait que la stratégie de réalité augmentée, virtuelle et mixte ainsi que le métaverse sont des jeux à long terme, comme une nouvelle plateforme qui doit être inventée et qui nécessite un investissement important à très long terme. sur des choses comme… des petits éclats qu'ils peuvent traiter, qui tiennent dans la branche d'une paire de lunettes et qui ne vident pas la batterie en dix minutes.

Peut-être avons-nous alors supposé que l’annonce du Metaverse ressemblait à une révolution imminente, mais qu’elle nécessitait un peu plus de temps. Comme l'AGI. Ou peu importe comment LeCun veut l’appeler.

Image en vedette | Simseo

À Simseo | Le « agir vite et casser les choses » est terminé : les Big Tech sont devenues des entreprises très prudentes et très ennuyeuses