Un nouvel outil capable de comparer les SLM et les LLM révèle que des modèles plus petits peuvent réduire les coûts
Les petits modèles de langage (SLM) open source peuvent fournir des réponses conversationnelles similaires aux grands modèles de langage (LLM) propriétaires et gourmands en ressources, tels que ChatGPT d'OpenAI, mais à moindre coût, ont découvert des chercheurs de l'Université du Michigan. Leurs conclusions sont publiées sur le arXiv serveur de préimpression.
L'équipe a développé un outil unique en son genre, capable d'évaluer les SLM et de les comparer aux interfaces de programmation d'applications LLM propriétaires, y compris en termes de performances et de coûts. Ils ont récemment présenté leurs résultats au Symposium international IEEE 2024 sur l'analyse des performances des systèmes et des logiciels.
La capacité démontrée des LLM à comprendre et à générer du langage a conduit à une utilisation généralisée dans des applications telles que les assistants virtuels, les chatbots et les systèmes de traduction linguistique. Bien qu’utiles, les LLM coûtent des millions ou plus à former, limitant les progrès de l’IA aux géants de la technologie tandis que les petites entreprises doivent s’appuyer sur leurs services payants.
« De nombreuses entreprises telles que Duolingo et Slack intègrent des LLM comme le GPT-4 d'OpenAI dans leurs produits. Il est important d'examiner rigoureusement si ces modèles constituent vraiment le meilleur choix pour les développeurs et si de petits modèles ouverts pourraient être efficaces », a déclaré Jason Mars. , professeur agrégé d'informatique et d'ingénierie à l'Université du Michigan.
La mise en œuvre de LLM propriétaires améliore la vitesse et la commodité, mais présente des inconvénients tels qu'une personnalisation et une confidentialité des données limitées, des performances peu fiables, des retards lors des pics d'utilisation et un coût élevé.
Les SLM open source sont apparus comme une alternative, mais jusqu'à présent, il n'existait aucun moyen de comparer systématiquement leurs performances avec des LLM plus connus.
L'équipe de recherche a développé un outil d'analyse automatisé, nommé SLaM, comme première méthodologie rapportée pour évaluer les SLM et leurs compromis (qualité, performances et coûts) par rapport aux LLM.
« Nous avons créé SLaM et l'avons rendu open source pour combler le vide en matière d'outils qui accélèrent et automatisent l'analyse comparative des LLM ouverts et fermés au cas par cas », a déclaré Mars.
L'outil a été mis à l'épreuve dans un outil de productivité d'IA en cours de développement par Myca AI appelé « discussion quotidienne d'encouragement ». La fonctionnalité exploite la liste de tâches de l'utilisateur pour fournir des encouragements et des conseils personnalisés et intelligents au quotidien.
Les chercheurs ont évalué 29 versions distinctes de neuf SLM par rapport au GPT-4 d'OpenAI dans l'environnement de production quotidien de discours d'encouragement. Alors que GPT-4 a atteint la plus haute précision jugée par un panel humain, la plupart des SLM se sont rapprochés de sa qualité avec des performances de latence plus prévisibles.
« Nous avons été surpris par les réponses de haute qualité fournies par ces petits modèles. Bien souvent, les utilisateurs ne pouvaient pas vraiment faire la différence entre SLM et LLM », a déclaré Lingjia Tang, professeur agrégé d'informatique et d'ingénierie.
Il est important de noter que les SLM ont réduit les coûts entre cinq et 29 fois par rapport aux LLM, selon le modèle utilisé.
« Cette découverte a de grandes implications pour les petites entreprises qui tentent de maintenir leur compétitivité dans cette course féroce à l'IA. Grâce aux outils SLaM, les entreprises peuvent sélectionner des modèles open source plus petits qui fournissent des réponses de haute qualité mais coûtent beaucoup moins cher, réduisant ainsi leur dépendance vis-à-vis des géants de la technologie », a ajouté Soie.
Co-auteurs supplémentaires : Chandra Irugalbandara, Ashish Mahendra, Tharuka Kasthuri Arachchige et Jayanaka Dantanarayana de Jaseci Labs ; Yiping Kang, Roland Daynauth et Krisztian Flautner de l'Université du Michigan.
