La méthode Zerosearch d’Alibaba utilise des résultats de recherche simulés pour réduire les coûts de formation LLM

Une équipe de chercheurs d’IA au Tongyi Lab du groupe Alibaba a débuté une nouvelle approche de la formation des LLMS; Celui qui coûte beaucoup moins que ceux actuellement utilisés. Leur article est affiché sur le arxiv serveur de préimprimée.

Comme les LLM tels que le chatgpt sont devenus grand public, les ressources et les coûts associés de les exécuter ont monté en flèche, forçant les fabricants d’IA à chercher des moyens d’obtenir des résultats identiques ou meilleurs en utilisant d’autres techniques. À cette fin, l’équipe travaillant au Tongyi Lab a trouvé un moyen de former les LLM d’une manière nouvelle qui utilise beaucoup moins de ressources.

L’idée derrière Zerosearch est de ne plus utiliser d’appels API pour rechercher des moteurs pour amasser les résultats de recherche comme un moyen de former un LLM. Leur méthode utilise plutôt des documents générés par AI-Généré simulés pour imiter la sortie des moteurs de recherche traditionnels, tels que Google.

L’équipe d’Alibaba suggère qu’une telle approche réduit non seulement les besoins en ressources, mais améliore la qualité de la formation car les données dans les documents simulés n’ont pas la nature imprévisible des résultats de recherche publique. Ils notent également que la nouvelle technique permet de dégrader lentement la qualité des documents produits comme un moyen de contester les scénarios de récupération.

Lors du test de leur approche dans un modèle d’IA, les chercheurs ont constaté que les coûts de formation associés à Zerosearch se sont élevés à 70,80 $ pour 64 000 requêtes. Les mêmes requêtes, à l’aide d’API Google, ont coûté 586,70 $. Ils ont constaté que le test d’autres modèles en utilisant plus de paramètres a encore réduit les coûts. La qualité des résultats produites par les modèles basés sur Zerosearch correspondait généralement ou dépassait ceux reçus des modèles basés sur l’API.

Les chercheurs reconnaissent qu’il y a un compromis avec leur approche. La méthode Zerosearch peut nécessiter jusqu’à quatre GPU A100 tandis que la méthode API Google n’a pas d’exigence de GPU. Bien que la formation Zerosearch soit plus rentable, cela présenterait un compromis en termes de durabilité et d’exigences matérielles.