la véritable opportunité d’écraser ChatGPT n’est pas sur le web

Nous avons un nouveau chatbot au bureau. C'est Meta.ail'assistant que l'entreprise de Mark Zuckerberg a lancé en septembre 2023 et qui gagne désormais pour deux raisons.

Le premier, parce qu'il est basé sur le nouveau modèle fondateur, Llama 3. Et le second, parce que nous pouvons l'utiliser sur le web : nous ne dépendons plus de son intégration dans des applications comme WhatsApp, Instagram, Facebook ou Messenger.

C'est précisément ce que nous souhaitions faire chez Simseo, et après ces premières heures d'utilisation Nous avons déjà quelques impressions sur ce qu'il peut donner de lui-même. La surprise n'est pas qu'il se comporte bien – ce qui est le cas – mais que son véritable potentiel ne se trouve pas exactement sur le web : c'est juste le « bonbon » de Meta pour pouvoir rivaliser avec le reste de ses rivaux sur son terrain. Son avantage en est un autre.

Comment tester le chatbot Meta.ai

Théoriquement, Meta.ai ne peut être utilisé que si nous sommes aux États-Unis ou dans l'un des 13 pays supplémentaires inclus dans le lancement initial, à savoir : Australie, Canada, Ghana, Jamaïque, Malawi, Nouvelle-Zélande, Nigeria, Pakistan. , Singapour, Afrique du Sud, Ouganda, Zambie et Zimbabwe.

De plus, le chatbot ne peut être utilisé qu’en anglais. Meta indique qu'il sera bientôt disponible dans d'autres langues et régions, mais pour le moment ce sont les limitations géographiques et linguistiques imposées par le service.

La limitation géographique peut être facilement surmonté avec un VPN. C'est une méthode qui a déjà fonctionné pour nous à d'autres occasions pour tester des chatbots qui ont également été initialement lancés dans des pays comme les États-Unis, et cela est encore vrai cette fois-ci : lors de la connexion au VPN, il suffit de choisir un nœud dans l'un des pays où le chatbot Il est disponible et prêt.

Nous avons utilisé une connexion qui prétendait que nous étions à Atlanta, après quoi une page de destination est apparue qui nous a encouragés à utiliser certains des exemples d'utilisation du chatbot, et nous a également encouragés à demander n'importe quoi à l'IA de Meta.

Un chatbot difficile à différencier de ses concurrents

Dans une barre latérale gauche, nous avons un historique des conversations, et surtout une option pour se connecter à Facebook, chose essentielle pour pouvoir accéder à une autre des options intéressantes de cette plateforme : générer des images par IA.

Nous nous concentrons dans un premier temps sur quelques questions pour évaluer leurs réponses. Après avoir vérifié que Meta.ai ne parle pas espagnol — le chatbot s'est excusé et a assuré qu'il bénéficierait de ce soutien à l'avenir — nous avons demandé toutes sortes de choses.

Nous avons commencé par quelques actualités sportives pour savoir à quel point le chatbot était mis à jour. Il a répondu correctement lorsqu'on lui a demandé quels étaient les prochains matchs de la Ligue des Champions, tandis qu'à la question qui était le favori pour la gagner, il a donné des réponses basées sur un site de paris, une décision curieuse mais certainement raisonnable.

Nous voulions également savoir s’il avait des informations sur Simseo. Encore une fois, il a répondu avec rapidité et précision. La description était exacte et a même ajouté un fait sur lequel d'autres chatbots s'étaient trompés dans le passé, l'année de sa création, en 2004.

Pour ajouter des questions plus informatives – et encore plus sportives –, nous avons demandé à Meta.ai quelque chose que nous avons demandé à d'autres chatbots que nous avons évalués dans le passé : créer un tableau avec les pays qui ont remporté le plus de championnats et de deuxièmes places au cours de l'année. passé.

Voici l'assistant Meta Il a fait quelque chose de génial que nous n’avions même pas demandé.: ajouté les années au cours desquelles ces pays ont remporté les championnats qu'ils ont remportés. Il n'a pas inclus d'autre colonne avec les années des finalistes, et lorsque nous lui avons posé la première question, il l'a créée séparément de la première.

Cependant, après lui avoir demandé de les réunir, il a réalisé cette fusion pour créer un tableau presque parfait : il y avait des données erronées, comme la deuxième place de la France en 1986, qui n'a pas eu lieu cette année-là mais en 2006. Puis il y est parvenu à nouveau. lors de la dernière Coupe du monde au Qatar en 2022, mais ces données l’indiquent bien.

Nous voulions également demander à Meta.ai de résoudre quelques petits problèmes mathématiques. Dans le premier il a échoué: on lui demande la suivante (traduite en anglais) : « La somme des âges de trois adultes est de 60 ans. Le plus âgé d'entre eux a 6 ans de plus que le plus jeune. Quel est l'âge de chacun d'eux ? Supposons qu'un adulte est âgé d'au moins 18 ans. » Il a répondu 18,24,24, ce qui n'était pas correct.

ChatGPT et Claude 3 (dans leurs versions gratuites sur le Web) ont répondu correctement au problème. La solution est 18,18,24, et après avoir dit à Meta.ai qu'il avait fait une erreur, il a réessayé mais a encore commis une erreur et a déclaré que la solution était 12,30,18. Soulignant à nouveau son erreur, il a demandé la solution pour comprendre ce qu'il faisait de mal. Un détail curieux qui montre une fois de plus que ces chatbots peuvent avoir raison (ou tort) mais sans savoir comment ils font.

Meta.ai a répondu correctement à d’autres petits problèmes mathématiques, et nous voulions également lui poser d’autres questions, comme par exemple comment installer un SSD dans un Mac mini. Il a répondu correctement, quoique quelque peu imprécis sur certains points.

Par exemple, en indiquant « Assurez-vous que le SSD est compatible avec votre modèle de Mac mini », il n'en précise pas plus, mais en se concentrant sur cette section, il nous a aidé en étant plus précis car il nécessitait plus d'informations. Un détail curieux était l'inclusion des outils nécessaires, et ici, interrogé sur les sources – qui n'apparaissaient pas initialement – il a indiqué que ses données provenaient du site d'assistance d'Apple – probablement la meilleure source possible, un point en faveur de Meta .ai. —, dont il proposait jusqu'à cinq liens différents.

Ces tests ont démontré un comportement qui semble comparable à celui proposé par les autres chatbots du marché. Les réponses sont générées très rapidement – ​​plus rapidement que ChatGPT 3.5, à égalité avec Claude 3 par exemple – et leur exactitude et leur précision sont remarquables, même si comme toujours il est possible pour le chatbot de se tromper ou même d'inventer des données.

Pour finir, nous avons voulu tester sa touche créative et voir comment elle se combinait avec un autre modèle d'IA particulièrement marquant ces derniers jours. Nous voulions créer une chanson avec Suno.ai et faire composer les paroles par Meta.ai. Le thème, un petit clin d'œil à cette guerre entre onglets et espaces que les programmeurs mènent depuis des décennies.

Le résultat, dont vous pouvez profiter dans cette vidéo, est certainement évident et montre que ce type de système peut finir par donner des résultats surprenants. Les choses ne s'arrêtent pas là et chez Simseo nous avons voulu tester un élément supplémentaire de ce chatbot. Un plus créatif.

Générer des images avec Meta.ai

Comme nous l'avons mentionné, une autre des options intéressantes de ce chatbot est qu'il propose également la possibilité de générer des images, ce que certains de ses rivaux autorisent également depuis un certain temps. L'option nous oblige à nous connecter à Meta (ou à créer un compte), après quoi nous pouvons créer des images avec un « Imagine… » – la même commande que dans Midjourney – bien que nous puissions utiliser d'autres formules telles que « Générer une image  » ou  » montrer un… ».

Nous avons également effectué des tests d'imagerie. Le moteur intégré à ce chatbot est certainement correct, même s'il dispose d'un filtre particulièrement remarquable qui le rend de nombreuses images ne sont pas générées. Même des termes ou des invites inoffensives semblent poser des problèmes, et par exemple, nous avons essayé de générer une image avec un hypothétique Real Madrid remportant la Ligue des Champions cette année et il a refusé de la générer.

Ce qu'il a fait, par exemple, c'est générer « un couple allemand de 1820 », ce qui est précisément la même invite qui a poussé Gemini à générer des images excessivement inclusives il y a quelques semaines. Cela a coûté un peu de mécontentement à Google en matière de réputation, mais au moins dans Meta, ce problème ne semble pas exister, et les images, sans être parfaites, sont au moins raisonnables dans leur apparence finale.

Le générateur d'images est donc intéressant comme aide potentielle à la génération d'images, mais nous pensons que Il n'est pas à la hauteur de modèles spécifiques plus puissants comme le Midjourney. Voici une note curieuse : Meta.ai intègre un petit filigrane visible dans le coin inférieur gauche des images. C'est une mesure que prennent d'autres comme Google, Adobe ou OpenAI.

Le véritable atout de Meta.ai, ce sont ses plateformes mobiles

Après ces tests, il est devenu clair que le comportement de Meta.ai n'est pas particulièrement différent – ni particulièrement pire ou meilleur, du moins dans ces tests – de celui proposé par d'autres chatbots concurrents sur ce marché, ce qui montre clairement que aujourd'hui Ces propositions sont difficiles à distinguer au niveau des résultats à moins d'être utilisées de manière très intensive et dans des segments très spécifiques.

Cela rend la guerre pour l'IA aussi à la portée (ou non) pour Meta que pour le reste, mais bien que la disponibilité d'un chatbot sur le web soit intéressante pour ceux qui utilisent un PC, le véritable potentiel de cet assistant est précisément là où Meta initialement l'a présenté: sur le mobile.

Il est facile de comprendre pourquoi. L'assistant Meta.ai est déjà disponible pour certains utilisateurs de Facebook, Instagram, Messenger ou WhatsApp, mais il sera petit à petit déployé dans le monde entier et sera disponible en un seul clic depuis ces applications.

Cela représente une opportunité de croissance potentiellement énorme pour la proposition Meta, qui dispose de milliards d'utilisateurs qui profitent quotidiennement et régulièrement de toutes ces plateformes et qui pourraient se tourner vers Meta.ai pour la simple raison qu'il est particulièrement disponible dans ces applications. Vous n'auriez pas besoin de quitter Instagram, Facebook ou WhatsApp pour demander comment était Madrid hier ou quel temps il fera à Soria ce week-end : nous pouvons obtenir des réponses à ces questions directement depuis ces plateformes.

Cela signifie qu'avec la nouvelle opération basée sur Llama 3, nous sommes confrontés à un candidat sérieux pour un chatbot de référence. La bataille est engagée et il semble de plus en plus difficile de prédire qui la gagnera.

À Simseo | Mark Zuckerberg annonce le nouveau grand objectif de Meta : créer une intelligence artificielle générale