Enseigner aux LLM comment savoir quand demander de l'aide pour fournir des réponses plus précises

Une équipe d'informaticiens et de chercheurs en IA de l'Université de Californie à San Diego, en collaboration avec un collègue de l'Université Tsinghua, a développé une tactique qui aide les modèles LLM à déterminer plus facilement quand ils ont besoin de l'aide d'une source externe pour fournir une réponse précise.

Le groupe a rédigé un article décrivant son approche, intitulé « Adapting While Learning : Grounding LLMs for Scientific Problems with Intelligent Tool Usage » et l'a publié sur le site Web. arXiv serveur de préimpression.

Au début de la création du LLM, les équipes de développement pensaient que plus grand était toujours mieux. On supposait que plus on utilisait de paramètres, plus les réponses produites seraient précises. Plus récemment, les développeurs ont découvert que plus grand n'est pas toujours mieux : parfois, les LLM peuvent être rendus plus intelligents, et donc plus précis, en ajoutant d'autres fonctionnalités ou en modifiant certains de leurs attributs de base.

Dans cette nouvelle étude, l'équipe de recherche a ajouté une fonctionnalité qui permet à un LLM donné d'évaluer sa propre confiance dans une réponse en utilisant un contrôle de sécurité intégré. Selon les chercheurs, un tel contrôle de sécurité pourrait consister simplement à ajouter une catégorisation avant de s'attaquer à un problème, par exemple si une tâche donnée est facile ou difficile à réaliser. Ils ont découvert que cela pourrait permettre à un LLM beaucoup plus petit d’être aussi intelligent, voire plus intelligent, qu’un LLM beaucoup plus grand.

Pour utiliser la nouvelle approche, l’équipe a développé deux phases d’apprentissage. Le premier s'appelle « World Knowledge Distillation » et son rôle consiste à découvrir des solutions à l'aide d'outils externes. Cela aide le LLM à acquérir une expertise sur un sujet donné. La deuxième phase, appelée « Adaptation de l'utilisation des outils », classe les problèmes en leur donnant des niveaux de confiance lors de la résolution d'une solution sans aide.

Le système permet de résoudre des problèmes plus simples (mais avec un niveau de confiance élevé) sans même vérifier si une aide externe pourrait être nécessaire, ce qui réduit les besoins globaux en ressources. Si des problèmes plus difficiles nécessitent une aide externe, celle-ci peut être résolue plus rapidement en raison des frais généraux moindres.

Les tests du système sur un modèle avec seulement 8 milliards de paramètres ont montré une amélioration de 28,18 % de la précision des réponses par rapport au même type de modèle sans les modifications. Cela a également entraîné une augmentation de 13,89 % de la précision de l’utilisation des outils, ce qui explique pourquoi, note l’équipe, le système était bien plus précis.

Les chercheurs suggèrent que leur nouvelle approche montre que plus grand n’est pas toujours mieux et que des LLM extrêmement puissants peuvent être créés sans recourir à des augmentations massives de taille.