Les chercheurs en IA suggèrent que les LLM ouverts ne sont pas aussi ouverts qu’on le prétend

Un trio de chercheurs en IA de l'Université Cornell, de la Signal Foundation et du Now Institute ont publié un article Perspective dans la revue Naturearguant que les LLM ouverts bien connus ne sont pas aussi ouverts que le prétendent leurs créateurs.

Dans leur article, David Widder, Meredith Whittaker et Sarah West notent que le simple fait de rendre le code source accessible au public ne rend pas un LLM ouvert. En effet, il ne donne pas accès aux données de formation sous-jacentes et parce que très peu de développeurs disposent des ressources nécessaires pour former les LLM de manière indépendante.

Au cours des dernières années, les LLM comme ChatGPT sont devenus très populaires, et leur popularité n'a fait que croître à mesure qu'ils ont mûri. Cette popularité s’accompagne d’une certaine peur : de nombreuses personnes, tant profanes que professionnels, commencent à se demander où va la recherche sur l’IA. Cela entraînera-t-il une perte de vie privée ? Des emplois ? Deviendra-t-il impossible de savoir si une image ou une vidéo est réelle ou générée par un système de réseau neuronal ?

Personne ne connaît les réponses à ces questions, mais en réponse, les créateurs de LLM ont tenté de rendre leurs efforts plus transparents pour la communauté des utilisateurs en publiant leurs modèles comme étant librement accessibles au public. Quiconque choisit de se rendre sur le site Web du créateur d'un LLM peut consulter ou télécharger le code. Ils peuvent également modifier le code et l’utiliser comme bon leur semble. Mais, demandent les auteurs de ce nouvel article, de telles actions rendent-elles vraiment un LLM ouvert ?

Ils suggèrent fortement que la réponse est non, car le code source d'un LLM n'est pas le même que celui d'un programme informatique, tel qu'un traitement de texte. Lorsque vous téléchargez le code d'un traitement de texte, vous disposez de tout ce qu'il faut pour l'utiliser tel quel, le modifier ou faire ce que vous voulez.

Lorsque vous téléchargez un LLM, vous avez le code et vous pouvez le modifier si vous le souhaitez, mais vous ne pouvez pas modifier les connaissances sous-jacentes qui l'accompagnent, notent les auteurs. Cela est dû à la formation dispensée par le fabricant. Les utilisateurs n’obtiennent pas cela lorsqu’ils téléchargent le code, et la plupart ne peuvent pas exécuter leur propre programme de formation : cela nécessite d’énormes quantités de puissance de calcul.

De plus, tous les LLM ouverts actuels ont trois facteurs principaux ayant un impact sur l'ouverture, suggèrent les auteurs : le premier est la transparence. Certains créateurs rendent tout transparent, d’autres non. Les créateurs de Llama 3, par exemple, autorisent les utilisateurs à utiliser leur système uniquement via des interfaces de programmation d'applications (API). Les auteurs appellent ces pratiques « openwashing ».

Le deuxième facteur est la réutilisabilité : dans quelle mesure le code open source est-il utilisable ? Cela dépend de la façon dont cela a été écrit. Le troisième facteur est l’extensibilité, qui permet aux utilisateurs de modifier le code pour répondre à leurs besoins.

Les auteurs concluent en suggérant que tant que les utilisateurs n'auront pas un accès libre au matériel capable de former des LLM, des données facilement accessibles et/ou un accès libre aux données sous-jacentes utilisées pour former initialement un LLM, les LLM ouverts ne seront pas véritablement ouverts.