battre ChatGPT

Il y a un an, la société créée par Mark Zuckerberg ne semblait pas particulièrement intéressée par le domaine de l'intelligence artificielle. Le métaverse semblait concentrer toute leur attention, mais en réalité, leur division IA travaillait dur. Ces derniers mois, ces efforts ont porté leurs fruits, et aujourd'hui l'entreprise a fait une annonce qui pourrait la placer à l'avant-garde dans le segment populaire des grands modèles de langage dans lequel sont également en concurrence OpenAI, Microsoft ou Google.

Avec la flamme. La première version de LlaMA, sortie en février 2023, est passée quelque peu inaperçue, mais c'est tout le contraire qui s'est produit en juillet 2023, lorsque les ingénieurs Meta ont introduit LlaMA 2 (plus tard orthographié Llama 2). L'entreprise s'est différenciée de la concurrence en utilisant un modèle Open Source, même si ce n'est pas du tout– et est devenu le pilier d’un grand nombre de développements parallèles basés sur ce modèle. En fait, c'était aussi particulièrement intéressant car n'importe qui pouvait le télécharger pour faire fonctionner son « propre ChatGPT » depuis son PC.

Lama 3 arrive. Les efforts de Meta se sont intensifiés et ils présentent maintenant Llama 3, la dernière version majeure de leur modèle fondateur « Open Source ». Selon l'entreprise, Llama 3 surpasse les autres modèles similaires dans divers benchmarks et se distingue notamment en tant qu'assistant de programmation. Les citations « Open Source » sont importantes : le développement utilise une « licence communautaire » qui, comme dans les cas précédents, n'est pas exactement la même — bien qu'assez similaire — à l'Open Source.

Deux versions initiales. Llama 3 est actuellement disponible en deux versions, 8B et 70B avec respectivement 8 000 et 70 000 millions de paramètres. Les deux peuvent être téléchargés depuis Meta avec inscription préalable, et les deux versions sont à leur tour disponibles en deux versions : une version pré-entraînée (le modèle brut qui prédit le prochain jeton à générer) et une version peaufinée pour suivre les instructions des utilisateurs. Les deux ont une limite de contexte de 8 192 jetons, modeste par rapport à des propositions telles que Claude 3 Opus, qui prend en charge des fenêtres de contexte de 200 000 jetons. Le modèle peut générer des images ainsi que du texte.

Entraînement vorace. Meta a entraîné les deux modèles sur un gigantesque cluster de 24 000 GPU. Dans le cas du modèle 70B, Zuckerberg commenté dans une interview avec Dwarkesh Patel que cette formation aurait pu continuer et que cette variante aurait pu être meilleure, mais ils ont préféré passer à la formation de nouveaux développements et proposer cette version 70B qui malgré tout n'était pas « saturée » par la formation après « ingérer » 15 000 milliards de jetons. « Nous aurions probablement pu lui donner plus de jetons et cela serait devenu un peu meilleur », a expliqué Zuckerberg.

Un gigantesque modèle multimodal 400B en vue. En plus des modèles 8B et 70B Llama 3, Meta prépare une spectaculaire version 400B avec 400 000 millions de paramètres qui selon certains experts Il sera à égalité avec GPT-4 Turbo, Claude 3 Opus ou Gemini Ultra et divers benchmarks. Ce modèle prendra en charge les entrées et sorties multimodales, c’est-à-dire à la fois le texte et les images.

Meta se vante de ses performances. Bien qu'il soit difficile de savoir si un modèle d'IA est vraiment meilleur qu'un autre, Meta a fourni les résultats du comportement de ses modèles 8B et 70B Llama 3 dans divers tests de performances synthétiques, et dans presque tous ces modèles surpassent les versions comparables. comme Mistral 7B, Gemini Pro 1.5 ou Claude 3 Sonnet.

Meta AI se renforce avec Llama 3 et lance une version web. Le premier grand bénéficiaire de ce lancement est le chatbot de l'entreprise, baptisé Meta AI. Ce développement a été lancé en septembre 2023 et a fait ses débuts en tant qu'assistant intégré dans WhatsApp, Facebook ou Instagram. Maintenant, la version Web arrive sur www.meta.ai, et tant dans celle-ci que dans ces assistants intégrés, le chatbot est basé sur Llama 3.

Pour le moment, Meta AI n'est pas en Espagne (ni en espagnol). Il est possible d'utiliser le chatbot sur le web sans inscription, mais par exemple pour certaines options comme la génération d'images il faudra se connecter avec un compte Facebook. Meta.ai est disponible en anglais aux États-Unis et dans une douzaine d'autres pays, mais comme le dit Meta, « nous ne faisons que commencer » et l'option devrait bientôt s'étendre à d'autres régions. Pour le moment, il n'est pas disponible en Espagne, et lors de nos brefs tests – il est accessible avec VPN, comme ce fut le cas avec d'autres lancements similaires ces derniers mois – nous avons pu vérifier que son comportement était comparable à celui de ChatGPT.

Objectif : battre ChatGPT (et les autres). Le segment des chatbots IA est plus animé que jamais et nous avons devant nous une nouvelle et intéressante proposition qui l'est plus précisément en raison de sa philosophie « presque » Open Source et parce qu'elle peut servir de base à des développements parallèles. La possibilité d'avoir une version web à utiliser aussi bien depuis le PC que depuis le mobile – et pas seulement comme assistant intégré aux applications Meta – est l'autre point fort d'un lancement qui augmente la pression contre ChatGPT, une référence absolue sur ce marché. mais peu à peu, elle est acculée par des alternatives qui s’améliorent à pas de géant.

À Simseo | Meta, IBM et d'autres forment The AI ​​​​Alliance. Son objectif : défendre le développement de modèles d’IA Open Source