Les modèles d'IA peuvent désormais être personnalisés avec beaucoup moins de données et de puissance de calcul

Des ingénieurs de l'Université de Californie à San Diego ont créé une nouvelle méthode pour permettre aux grands modèles de langage (LLM), tels que ceux qui alimentent les chatbots et les outils de séquençage de protéines, d'apprendre de nouvelles tâches en utilisant beaucoup moins de données et de puissance de calcul.

Les LLM sont constitués de milliards de paramètres qui déterminent la manière dont ils traitent les informations. Les méthodes traditionnelles de réglage fin ajustent tous ces paramètres, ce qui peut être coûteux et sujet au surajustement, lorsqu'un modèle mémorise des modèles au lieu de les comprendre réellement, ce qui entraîne de mauvaises performances sur de nouveaux exemples.

La nouvelle méthode développée par les ingénieurs de l'UC San Diego adopte une approche plus intelligente. Au lieu de recycler un modèle entier à partir de zéro, il met à jour uniquement les parties les plus importantes. En conséquence, la nouvelle méthode réduit les coûts, est plus flexible et permet de mieux généraliser ce qu'elle apprend par rapport aux méthodes de réglage fin existantes.

Les chercheurs ont montré que leur méthode permet d’affiner les modèles de langage protéique, utilisés pour étudier et prédire les propriétés des protéines, même lorsque très peu de données d’entraînement sont disponibles. Par exemple, en prédisant si certains peptides peuvent traverser la barrière hémato-encéphalique, la nouvelle méthode a atteint une plus grande précision que les méthodes conventionnelles tout en utilisant 326 fois moins de paramètres. En prédisant la thermostabilité des protéines, il a égalé les performances d'un réglage fin complet tout en utilisant 408 fois moins de paramètres.

« Grâce à notre méthode, même les petits laboratoires et les startups sans budgets énormes, sans ressources de niveau superordinateur ou sans grands ensembles de données peuvent adapter de grands modèles d'IA à leurs propres besoins », a déclaré Pengtao Xie, professeur au Département de génie électrique et informatique de la Jacobs School of Engineering de l'UC San Diego. « Ce travail représente une étape vers la démocratisation de l'IA. »

La nouvelle méthode de mise au point et d'adaptation des LLM est publiée dans Transactions sur la recherche sur l'apprentissage automatique.