Une équipe de recherche lance le premier mini modèle d’IA en son genre avec un impact de trois mille milliards de jetons

Il s’appelle TinyLlama et a pris d’assaut le monde de la recherche en raison de la puissance qu’il contient.

Développé par le professeur agrégé Lu Wei de l’Université de technologie et de design de Singapour (SUTD), l’assistant de recherche M. Zhang Peiyuan et le doctorant. étudiants, M. Zeng Guangtao et M. Wang Tianduo, TinyLlama est un petit modèle de langage open source de 1,1 milliard de paramètres qui a surpassé d’autres modèles open source de tailles comparables dans plusieurs benchmarks. Au total, trois mille milliards de jetons d’ensembles de données ont été pré-entraînés sur TinyLlama en seulement quatre mois.

Les grands modèles de langage (LLM) actuels tels que ChatGPT ou Google Bard, développés par de grandes entreprises technologiques telles que OpenAI ou Google, sont gérés par des milliers, voire des dizaines de milliers d’unités de traitement graphique (GPU) et nécessitent que les utilisateurs se connectent en ligne à leur énorme réseau. les serveurs. TinyLlama, en revanche, est construit sur seulement 16 GPU et n’occupe que 550 Mo de mémoire vive (RAM). En d’autres termes, TinyLlama peut facilement être déployé sur des appareils mobiles, permettant à chacun d’emporter un « mini ChatGPT » dans sa poche partout où il va.

Selon Marktechpost, une plateforme d’information sur l’intelligence artificielle basée en Californie avec une communauté de plus de 1,5 million de professionnels et de développeurs de l’IA, les performances de TinyLlama dans les tâches de raisonnement de bon sens et de résolution de problèmes mettent en évidence le potentiel des modèles plus petits pour atteindre des performances élevées lorsqu’ils sont formés avec un quantité importante de données. Cela ouvre également de nouvelles possibilités de recherche et d’application dans le traitement du langage naturel, en particulier dans les scénarios où les ressources informatiques sont limitées.

Le professeur Lu, également directeur du groupe de recherche StatNLP, qui se concentre sur la recherche sur le traitement du langage naturel, a déclaré : « L’importance des petits modèles de langage ne peut être sous-estimée, et la raison pour laquelle TinyLlama a été spécifiquement créé pour être open source est qu’il va démocratiser. modèles de langage en permettant aux petites entreprises technologiques et aux laboratoires de recherche de créer et de développer leurs propres modèles pour diverses applications. En tant que chercheurs, notre objectif est de jeter les bases de petits modèles de langage, dans le but de réaliser des avancées scientifiques significatives dans le domaine.

« Les petites entreprises technologiques ainsi que les chercheurs et développeurs individuels exigent de plus en plus de petits modèles de langage qui nécessitent moins de ressources pour fonctionner. Ces modèles, tels que TinyLlama, sont donc plus faciles à construire et plus optimaux pour les appareils de pointe tels que les téléphones mobiles. La compacité de ces modèles leur permet également de répondre à une multitude d’applications qui nécessitent une traduction automatique en temps réel sans connexion Internet. Cela signifie que les utilisateurs peuvent accéder au modèle de langue hors ligne. Ils n’ont pas besoin d’envoyer leurs informations personnelles au serveur lorsqu’ils utilisent et grâce à la technique appelée « réglage fin », nous sommes en mesure de l’améliorer encore », a ajouté le professeur Lu.

L’approche innovante de TinyLlama réside dans sa construction. Il est basé sur l’architecture et le tokenizer de Llama 2 et intègre plusieurs technologies de pointe. L’une de ces technologies est FlashAttention, qui améliore l’efficacité des calculs. Malgré sa taille plus petite que certains de ses prédécesseurs, TinyLlama présente des performances exceptionnelles dans diverses tâches en aval. Il a réussi à remettre en question l’idée selon laquelle les modèles plus grands sont toujours meilleurs, démontrant que les modèles avec moins de paramètres peuvent toujours atteindre des niveaux élevés d’efficacité lorsqu’ils sont entraînés avec des ensembles de données étendus et diversifiés.

Grâce à son architecture compacte et à ses performances exceptionnelles, TinyLlama peut activer des applications d’utilisateur final sur des appareils mobiles et servir de plate-forme légère pour la recherche de modèles de langage.

Des entreprises telles que Sea Limited, leader mondial de l’Internet grand public, et DSO National Laboratories, une organisation nationale de recherche et de développement pour la défense, ont téléchargé le code source de TinyLlama depuis GitHub à des fins de recherche.

Le Dr Liu Qian, chercheur scientifique et chef d’équipe du groupe de traitement du langage naturel au Sea AI Lab, a déclaré : « Dans nos projets de recherche sur les modèles de langage, nous avons utilisé le projet TinyLlama comme banc d’essai agile et efficace. Sa base de code suit un format compact et structure bien organisée, qui permet des modifications faciles à des fins diverses. Avec l’accès à plusieurs points de contrôle du modèle 1B, nous validons rapidement les hypothèses, obtenant un retour d’information plus rapide par rapport aux modèles Llama-7b.

« Notamment, les améliorations d’optimisation de TinyLlama augmentent considérablement l’utilisation du GPU, surpassant la bibliothèque de transformateurs Hugging Face. Cette combinaison de prototypage rapide et de formation efficace positionne TinyLlama comme un outil précieux, facilitant les itérations accélérées dans la communauté de recherche.

TinyLlama est actuellement disponible sur GitHub, une plateforme et un service cloud permettant aux développeurs de stocker et de gérer leur code. Il était devenu le code numéro un sur Hugging Face, une plate-forme d’hébergement de projets liés à l’IA, sur plus de 460 000 modèles pendant environ une semaine à compter du 3 janvier 2024. Des plans sont en cours pour améliorer encore TinyLlama.