Les LLM pourraient connaître un effondrement du modèle, selon les chercheurs

L'utilisation d'ensembles de données générés par l'IA pour former les futures générations de modèles d'apprentissage automatique peut polluer leurs résultats, un concept connu sous le nom d'effondrement du modèle, selon un nouvel article publié dans Nature. La recherche montre qu’en quelques générations, le contenu original est remplacé par des absurdités sans rapport, démontrant ainsi l’importance d’utiliser des données fiables pour former les modèles d’IA.

Les outils d’IA générative tels que les grands modèles de langage (LLM) ont gagné en popularité et ont été principalement formés à l’aide d’entrées générées par l’homme. Cependant, à mesure que ces modèles d’IA continuent de proliférer sur Internet, le contenu généré par ordinateur peut être utilisé pour former d’autres modèles d’IA – ou eux-mêmes – dans une boucle récursive.

Ilia Shumailov et ses collègues présentent des modèles mathématiques pour illustrer la manière dont les modèles d’IA peuvent subir un effondrement. Les auteurs démontrent qu’une IA peut ignorer certaines sorties (par exemple, des lignes de texte moins courantes) dans les données d’entraînement, ce qui l’oblige à s’entraîner sur une partie seulement de l’ensemble de données.

Shumailov et ses collègues ont également étudié la façon dont les modèles d’IA réagissaient à un ensemble de données d’entraînement principalement créé à l’aide de l’intelligence artificielle. Ils ont découvert que l’alimentation d’un modèle avec des données générées par l’IA entraîne une dégradation de la capacité d’apprentissage des générations successives, ce qui conduit finalement à l’effondrement du modèle.

Presque tous les modèles de langage récursivement entraînés qu'ils ont testés avaient tendance à afficher des phrases répétitives. Par exemple, un test a été exécuté en utilisant un texte sur l'architecture médiévale comme entrée d'origine et à la neuvième génération, le résultat était une liste de lièvres.

Les auteurs suggèrent que l’effondrement du modèle est une conséquence inévitable des modèles d’IA qui utilisent des ensembles de données d’entraînement créés par les générations précédentes. Pour réussir à entraîner l’intelligence artificielle avec ses propres résultats, Shumailov et ses collègues suggèrent qu’il n’est pas impossible d’entraîner un modèle avec des données générées par l’IA, mais le filtrage de ces données doit être pris au sérieux.

Dans le même temps, les entreprises technologiques qui s’appuient sur du contenu généré par l’homme pourraient être en mesure de former des modèles d’IA plus efficaces que leurs concurrents.