Modèle de fondation moins transparent dans le classement de Stanford

Les chercheurs de Centre de recherche sur les modèles de fondations de Stanford ont présenté un système de notation, appelé Indice de transparence du modèle de fondationqui évalue dix grands modèles de langage d’IA en fonction de leur transparence (voici l’article).

L’index comprend des modèles populaires tels que GPT-4 d’OpenAI (qui alimente la version payante de ChatGPT), PaLM2 par Google (qui alimente Bard) et LLaMA2 par Meta, mais aussi des modèles moins connus comme TitanTexte d’Amazon e Inflexion AI Inflexion-1le modèle qui alimente le chatbot Pi.

Les critères retenus par les chercheurs pour établir le classement des modèles de fondations

Pour compiler le classement des modèles de base, les chercheurs de Stanford ont évalué chaque modèle sur la base de 100 critères, notamment la divulgation des sources de données de formation, des informations sur le matériel utilisé, la main-d’œuvre de formation et d’autres détails. Le classement comprend également des informations sur le travail et les données utilisées pour produire le modèle lui-même, ainsi que ce que les chercheurs appellent des « indicateurs en aval », qui concernent la manière dont un modèle est utilisé après sa publication. (Par exemple, une question posée est : « Le développeur divulgue-t-il ses protocoles de stockage, d’accès et de partage des données utilisateur ? »).

Selon les chercheurs, le modèle le plus transparent des dix testés est Llama 2, avec un score de 54 %, suivi de Bloomz avec 53 %. GPT-4 arrive en troisième position, avec 48 %, puis Stable Diffusion 2 avec 47 et enfin PaLM 2 avec 40 %.

Percy Liang, qui dirige le Foundation Model Research Center de Stanford, a décrit le projet comme une réponse nécessaire à la baisse de la transparence dans le secteur de l’IA. Alors que l’argent afflue vers l’IA et que les plus grandes entreprises technologiques se battent pour la domination, la tendance récente de nombreuses entreprises a été de se cacher dans le secret.

« Il y a trois ans, les gens publiaient et divulguaient plus de détails sur leurs modèles », a déclaré Liang. « Maintenant, il n’y a aucune information sur ce que sont ces modèles, comment ils sont construits et où ils sont utilisés. »

Les nouveaux modèles d’IA ne répondent pas aux critères de transparence

La transparence est particulièrement importante aujourd’hui, alors que les modèles deviennent de plus en plus puissants et que des millions de personnes intègrent des outils d’IA dans leur vie quotidienne. En savoir plus sur le fonctionnement de ces systèmes permettrait aux régulateurs, aux chercheurs et aux utilisateurs de mieux comprendre à quoi ils ont affaire et de poser de meilleures questions aux entreprises à l’origine de ces modèles.

« Des décisions assez importantes ont été prises concernant la construction de ces modèles, qui n’ont pas été partagées », a déclaré Liang.

Lorsque je leur demande pourquoi ils ne partagent pas publiquement plus d’informations sur leurs modèles, les responsables de l’IA répondent généralement de trois manières.

Le premier est représenté par poursuites. Plusieurs sociétés d’IA ont déjà été poursuivies en justice par des auteurs, des artistes et des sociétés de médias qui les accusent d’utiliser illégalement des œuvres protégées par le droit d’auteur pour entraîner leurs modèles. Jusqu’à présent, la plupart des poursuites ont visé des projets d’IA open source ou des projets ayant divulgué des informations détaillées sur leurs modèles. (Après tout, il est difficile de poursuivre en justice une entreprise qui a ingéré votre art si vous ne savez pas quelles œuvres elle a ingérées.) Les avocats des sociétés d’IA craignent que plus vous en dites sur la façon dont leurs modèles sont construits, plus vous vous exposez à des poursuites judiciaires coûteuses et ennuyeuses.

La deuxième réponse courante est la concours. La plupart des sociétés d’IA pensent que leurs modèles fonctionnent parce qu’ils contiennent une sorte de sauce secrète : un ensemble de données de haute qualité que d’autres sociétés n’ont pas, une technique de réglage qui produit de meilleurs résultats, une optimisation qui leur donne un avantage. Selon eux, obliger les sociétés d’IA à révéler ces recettes les oblige à céder leur sagesse durement acquise à leurs rivaux, qui peuvent facilement les copier.

La troisième réponse est la sécurité. Certains experts en IA ont fait valoir que plus les entreprises divulguent d’informations sur leurs modèles, plus les progrès de l’IA s’accéléreront, car chaque entreprise verra ce que font ses rivaux et tentera immédiatement de les surpasser en construisant un modèle meilleur, plus grand et plus rapide. Selon ces personnes, la société aura moins de temps pour réguler et ralentir l’IA, ce qui pourrait nous mettre tous en danger si l’IA devient trop rapidement trop performante.

Le scepticisme des chercheurs du Center for Research on Foundation Models de Stanford

Les chercheurs de Stanford ne croient pas à ces explications. Ils estiment que les sociétés d’IA devraient être poussées à divulguer autant d’informations que possible sur les modèles les plus puissants, car les utilisateurs, les chercheurs et les régulateurs doivent savoir comment fonctionnent ces modèles, quelles sont leurs limites et à quel point ils peuvent être dangereux.

« À mesure que l’impact de cette technologie augmente, la transparence diminue », a déclaré Rishi Bommasani, l’un des chercheurs.

Les modèles de fondation sont trop puissants pour rester aussi opaques, et plus nous en savons sur ces systèmes, plus nous pouvons comprendre les menaces qu’ils peuvent représenter, les avantages qu’ils peuvent débloquer ou comment ils peuvent être ajustés.

Si les dirigeants d’IA s’inquiètent des poursuites judiciaires, ils devraient peut-être se battre pour obtenir une exemption du utilisation équitable cela protège leur capacité à utiliser des informations protégées par le droit d’auteur pour former leurs modèles, au lieu de cacher les preuves. S’ils craignent de divulguer leurs secrets commerciaux à leurs concurrents, ils peuvent divulguer d’autres types d’informations ou protéger leurs idées au moyen de brevets.

Nous devons examiner l’intérieur des « boîtes noires » de l’IA si nous voulons qu’elle transforme nos vies.