L’approche du petit modèle pourrait être plus efficace que les LLM
Les modèles de petits langues sont plus fiables et sécurisés que leurs grandes homologues, principalement parce qu’ils tirent des informations à partir d’un ensemble de données circonscrit. Attendez-vous à voir plus de chatbots courir sur ces alternatives réduites dans les prochains mois.
Après le déploiement répandu du modèle grand langage (LLM) d’Openai à la fin de 2022, de nombreuses autres grandes entreprises technologiques ont emboîté le pas – à un rythme qui a montré qu’elles n’étaient pas loin derrière et travaillaient en fait depuis des années pour développer leurs propres programmes d’intelligence artificielle générative (Genai) utilisant le langage naturel.
Ce qui frappe dans les différents programmes Genai disponibles aujourd’hui, c’est à quel point ils sont vraiment similaires. Ils fonctionnent tous de la même manière: un modèle contenant des milliards de paramètres est formé en profondeur sur d’énormes ensembles de données composés de contenu disponible sur Internet.
Une fois formés, les modèles génèrent à leur tour du contenu – sous la forme de textes, d’images, de sons et de vidéos – en utilisant des statistiques pour prédire quelle chaîne de mots, de pixels ou de sons est la réponse la plus probable à une invite.
« Mais cette méthode s’accompagne de risques », explique Nicolas Flammarion, qui gère la théorie de la théorie de l’apprentissage automatique d’EPFL. « Une grosse partie du contenu disponible en ligne est toxique, dangereuse ou tout simplement incorrecte. C’est pourquoi les développeurs doivent superviser et affiner leurs modèles et ajouter plusieurs filtres. »
Comment éviter de se noyer dans l’information
La façon dont les choses se tiennent actuellement, les LLM ont créé une situation sous-optimale où les machines hébergées dans de vastes centres de données regroupent des milliards d’octets de données – consommant de grandes quantités d’énergie dans le processus – pour trouver la petite fraction des données pertinente pour une invite donnée. C’est comme pour trouver la réponse à une question, vous deviez parcourir tous les livres de la page de la Bibliothèque du Congrès jusqu’à la page jusqu’à ce que vous tombiez sur la bonne réponse.
Les chercheurs explorent maintenant des moyens de tirer parti de la puissance des LLM tout en les rendant plus efficaces, sûrs et économiques à opérer. « Une méthode consiste à limiter les sources de données qui sont introduites dans le modèle », explique Martin Rajman, conférencier et chercheur de l’EPFL sur l’IA. « Le résultat sera des modèles linguistiques très efficaces pour une application donnée et qui n’essayent pas d’avoir les réponses à tout. »
C’est là que les modèles de petits langues (SLM) entrent en jeu. Ces modèles peuvent être petits de diverses manières, mais, dans ce contexte, la taille se réfère généralement à l’ensemble de données dont ils tirent. Le terme technique pour cela est la génération (RAG) de la récupération. Meditron d’EPFL fournit un exemple de la façon dont cela peut être appliqué dans la pratique: ses modèles s’appuient exclusivement sur des ensembles de données médicaux fiables et vérifiés.
L’avantage de cette approche est qu’il empêche la propagation d’informations incorrectes. L’astuce consiste à implémenter les ensembles de données limités avec des chatbots formés sur de grands modèles. De cette façon, le chatbot peut lire les informations et relier différents bits ensemble afin de produire des réponses utiles.
Plusieurs groupes de recherche EPFL explorent le potentiel des SLM. Un projet est Meditron, tandis qu’un autre est un test pilote en cours basé sur le polylex, le référentiel en ligne d’EPFL des règles et politiques. Deux autres projets envisagent d’améliorer comment les enregistrements de classe sont transcrits afin qu’ils puissent être indexés de manière plus fiable et rationaliser certains des processus administratifs de l’école.
Moins cher à utiliser
Parce que les SLM s’appuient sur des ensembles de données plus petits, ils n’ont pas besoin d’énormes quantités de puissance de traitement pour s’exécuter – certains d’entre eux peuvent même fonctionner sur un smartphone. « Un autre avantage important des SLM est qu’ils fonctionnent dans un système fermé, ce qui signifie que les utilisateurs d’informations entrent dans une invite sont protégés », explique Rajman.
« Cela est différent de Chatgpt, où si vous lui demandez de transcrire une réunion et de rédiger des minutes, par exemple – quelque chose que le modèle peut très bien faire – vous ne savez pas comment les informations seront utilisées. Il est stocké sur des serveurs inconnus, bien que certaines informations puissent être confidentielles ou inclure des données personnelles. »
Les SLM ont toutes les capacités de CHATBOT des grands modèles et comportent beaucoup moins de risques. C’est pourquoi les entreprises s’intéressent de plus en plus à la technologie, que ce soit pour leurs besoins internes ou pour une utilisation avec leurs clients. Les chatbots conçus pour des applications spécifiques peuvent être à la fois très utiles et extrêmement efficaces, ce qui a incité les entreprises technologiques dans le monde entier à précipiter leur version sur le marché.
2023 a peut-être été l’année où les LLM – avec toutes leurs forces et leurs faiblesses – ont fait la une des journaux, mais 2025 pourrait très bien être l’année où leurs homologues plus petits, sur mesure et pleinement dignes de confiance volent le spectacle.
Meditron, l’exemple de pointe de l’industrie de l’EPFL
La première chose que la plupart d’entre nous font lorsque nous avons une éruption cutanée, une douleur mobile inexpliquée ou que nous nous sommes prescrits un nouveau médicament, par exemple, est d’aller en ligne. Certaines personnes effectuent une recherche sur Internet standard, tandis que d’autres préfèrent converser avec un programme génératif de l’intelligence artificielle (Genai), à la recherche d’explications rassurantes ou à alimenter leurs tendances hypocondriaques. Mais les diagnostics proposés par les modèles de grande langue généraliste – comme ceux utilisés par Chatgpt et Claude – proviennent de sources obscures contenant toutes sortes de données, ce qui soulève des questions sur leur fiabilité.
La solution consiste à développer des modèles plus petits qui sont mieux ciblés, plus efficaces et nourris avec des données vérifiées. C’est précisément ce que les chercheurs de l’EPFL et de la Yale School of Medicine font pour l’industrie des soins de santé – ils ont développé un programme appelé Meditron qui est actuellement le modèle de langue open-source le plus performant au monde pour la médecine.
Il a été introduit il y a un peu plus d’un an et, lorsqu’il a été testé aux examens médicaux donnés aux États-Unis, il a répondu plus précisément que les humains en moyenne et a trouvé des réponses raisonnables à plusieurs questions. Bien que Meditron ne soit pas destiné à remplacer les médecins, il peut les aider à prendre des décisions et à établir des diagnostics. Un humain aura toujours le dernier mot.
Le programme est construit sur le modèle de grande langue à accès ouvert de Meta. Ce qui distingue Meditron, c’est qu’il a été formé sur des données médicales soigneusement sélectionnées. Il s’agit notamment de la littérature évaluée par des pairs à partir de bases de données en libre accès telles que PubMed et une collection unique de directives de pratique clinique, y compris celles publiées par le CICR et d’autres organisations internationales, couvrant un certain nombre de pays, régions et hôpitaux.
« Cette base en libre accès est peut-être l’aspect le plus important de Meditron », explique le professeur Annie Hartley du Laboratory for Intelligent Global Health and Humanitarian Response Technologies (Light), hébergé conjointement par EPFL et Yale. Il peut être téléchargé sur un smartphone et opérer dans des zones éloignées où il y a peu ou pas d’accès Internet.
Contrairement aux boîtes noires développées par les grandes entreprises, Meditron est transparent et s’améliore à chaque fois qu’il est utilisé. « Le programme est en développement constant », explique Hartley. « L’une de ses forces est qu’elle comprend des données de régions qui sont souvent sous-représentées. »
Pour s’assurer que le programme peut être utilisé aussi largement que possible et reflète avec précision les conditions du monde réel, ses développeurs ont lancé une initiative par laquelle les professionnels de la santé du monde entier ont été invités à tester le modèle dans des contextes cliniques réels et à lui poser des questions difficiles.
« Le fait que ces professionnels aient porté leur temps dans notre communauté open source pour valider indépendamment Meditron est une reconnaissance de sa valeur », explique Hartley. Martin Jaggi, chef du laboratoire d’apprentissage et d’optimisation de l’EPFL, ajoute: « Rien de tout cela n’aurait été possible avec les modèles fermés développés par les grandes entreprises technologiques. »
Une autre étape vers la médecine personnalisée
D’autres chercheurs EPFL envisagent d’améliorer la qualité des données alimentées aux modèles de langues. Emmanuel Abbé, qui est titulaire du président de la science des données mathématiques à l’EPFL, réalise un de ces projets avec l’hôpital universitaire de Lausanne (CHUV) afin d’aider à prévenir les crises cardiaques.
L’objectif est de développer un système d’IA qui peut analyser les images d’une angiographie – une visualisation des vaisseaux cardiaques et sanguins – et les comparer avec ceux d’une base de données pour estimer le risque d’arrêt cardiaque d’un patient. Abbé et son groupe de recherche prévoient de mener une grande étude de cohorte en Suisse impliquant au moins 1 000 participants au cours des trois prochaines années pour collecter des données pour former leur modèle.
Ces applications pourraient également nous rapprocher de la médecine personnalisée. « Je vois un énorme potentiel dans la combinaison des résultats de ces modèles avec les antécédents médicaux des patients et les données recueillies par des montres intelligentes et d’autres applications liées à la santé », a déclaré Olivier Crochat, directeur exécutif du Center for Digital Trust de l’EPFL. « Mais nous devons nous assurer que des systèmes robustes sont en place pour protéger ces données très sensibles et s’assurer qu’ils sont utilisés de manière éthique et équitable. »
