Grok-2 de xAI arrive et surpasse tous les autres LLM dans les benchmarks

Grok-2 arrivé le 14 août 2024, comme prévu des mises à jour et des nouveaux paramètres de l'application mobile du réseau social xAI par Elon Musk. Le nouveau modèle de langage étendu (LLM) est intégré à X et disponible pour tous les niveaux d'abonnement. Prime (7 $ par mois) Et Premium+ (14 $ par mois sans publicité)Grok-2 est disponible en deux tailles : Grok-2 et Grok-2 mini.

Grok-2 offre des performances de pointe sur un large éventail de tâches, notamment les applications de chat, de codage, de raisonnement et de vision, tandis que Grok-2 mini est une version plus petite et plus rapide optimisée pour l'efficacité, adaptée aux tâches exigeantes basées sur du texte plus simples. qui nécessitent des réponses plus rapides.

Grok-2 bat ses concurrents lors de tests tiers majeurs

Grok-2 possède non seulement des capacités de génération d'images basées sur un partenariat avec Laboratoires de la Forêt-Noire et son nouveau modèle d'IA open source photoréaliste de diffusion Flux.1, mais surpasse étonnamment les modèles Ai de ses principaux rivauxy compris OpenAI (GPT-4o) et Anthropic (Claude 3.5 Sonnet) et même Google (Gemini Pro 1.5) dans les principaux tests de référence tiers.

Notamment, Grok-2 et Grok-2 mini surpassent tous les autres modèles dans les benchmarks GPQA, MMLU, MMLU-Pro, MATH, HumanEval, MMMU, MathVista et DocVQA.
Même l'arène lmsys-chatbotoù de nombreuses entreprises testent secrètement leurs modèles d'IA sous des noms alternatifs avant leur sortie (y compris xAI, où Grok-2 s'appelait initialement « sus-column-r ») a félicité xAI pour cette étape importante.

Comme l'a noté Ethan Mollick, influenceur de l'IA et professeur à la Wharton School of Business de l'Université de Pennsylvanie, sur xAI : «Il existe désormais cinq modèles de classe GPT-4 : GPT-4o, Claude 3.5, Gemini 1.5, Llama 3.1 et maintenant Grok 2 ».
Musk a félicité son « équipe xAI qui travaille dur ! sur le réseau social du même nom.

La génération d’images est le point fort

Bien que Grok-2 offre des performances de premier ordre dans tous ces tests liés aux mathématiques, à l'écriture, au codage et à d'autres tâches, la caractéristique de loin la plus remarquable qui a retenu l'attention est son intégration avec le modèle de génération d'images Flux.1 de Black Forest Labs.
Avant la sortie de Grok-2, Flux.1 avait déjà fait sensation dans les cercles de l'IA et de l'art, en particulier ces dernières semaines, lorsqu'il a été découvert qu'il était possible de réaliser des générations incroyablement photoréalistes à partir du modèle open source, suffisamment pour ressembler à des situations familières. comme un orateur lors d'une conférence TED, ainsi que l'adaptation du modèle à l'aide de l'adaptation de portée basse (LoRA) pour générer sa propre similarité dans différentes situations.

Maintenant qu'une version de Flux.1 est intégrée directement dans Grok-2, de la même manière qu'OpenAI a intégré son modèle de génération d'images DALL-E 3 directement dans ChatGPT, permettant aux utilisateurs de simplement taper des requêtes de texte au chatbot et de lui demander de créer leur images sur commande, les utilisateurs testent cette capacité dans Grok-2 et constatent qu'elle est remarquablement laxiste – générant des images controversées et compromettantes, même de personnalités publiques telles que les candidats à la présidentielle américaine Kamala Harris et Donald Trump…
D'autres grands générateurs d'images, notamment Midjourney, DALL-E 3 et Microsoft Designer, ont l'interdiction de générer ce type de contenu – en particulier à la suite de la controverse du début de l'année concernant les deepfakes explicites et non autorisés du musicien populaire Taylor Swift (réalisé par la société). par une ingénierie rapide contournant les restrictions du concepteur) – c'est donc Il est à noter que Grok-2 va à l’encontre de la tendance et permet une plus grande liberté et un risque potentiel.

Cependant, cela est conforme à la philosophie de « liberté d’expression » déclarée par Musk pour X.
Cependant, les utilisateurs s'inquiètent de l'impact de cette capacité sur la propagation des deepfakes et de la désinformation sur le Web.

Construisez avec Grok à l'aide de l'API d'entreprise

Au cours du mois d'août, xAI proposera Grok-2 et Grok-2 mini aux développeurs via la nouvelle plate-forme API de la société. La prochaine API repose sur une nouvelle pile technologique personnalisée qui permet des déploiements d'inférence multirégionaux pour un accès à faible latence à travers le monde. Il offre des fonctionnalités de sécurité améliorées, telles que l'authentification multifacteur obligatoire (par exemple en utilisant Yubikey, Apple TouchID ou TOTP), des statistiques de trafic riches et des analyses de facturation avancées (y compris l'exportation de données détaillées). Il propose également une API de gestion qui vous permet d'intégrer la gestion des équipes, des utilisateurs et de la facturation dans vos outils et services internes existants.

Les prochaines étapes de Grok-2

Grok-2 et Grok-2 mini sont lancés le 𝕏. Un aperçu de la compréhension multimodale sera bientôt publié et fera partie intégrante de l'expérience Grok sur 𝕏 et de l'API.

Depuis l’annonce de Grok-1 en novembre 2023, xAI évolue à un rythme effréné, dirigé par une petite équipe avec une densité de talents maximale. Aujourd’hui, la société a introduit Grok-2, se positionnant à la pointe du développement de l’IA. Désormais, il se concentrera sur l’amélioration des compétences de base en raisonnement avec le nouveau cluster informatique.