Un nouvel indice évalue la transparence de dix entreprises modèles de fondation et constate qu’elles font défaut

Les entreprises du secteur des modèles de fondations deviennent moins transparentes, déclare Rishi Bommasani, responsable de la société au Centre de recherche sur les modèles de fondations (CRFM), au sein de Stanford HAI. Par exemple, OpenAI, dont le nom contient le mot « open », a clairement déclaré qu’elle ne serait pas transparente sur la plupart des aspects de son modèle phare, GPT-4.

Moins de transparence rend plus difficile pour les autres entreprises de savoir si elles peuvent créer en toute sécurité des applications qui s’appuient sur des modèles de base commerciaux ; que les universitaires s’appuient sur des modèles de fondations commerciales pour la recherche ; pour que les décideurs politiques conçoivent des politiques significatives pour maîtriser cette puissante technologie ; et pour que les consommateurs comprennent les limites du modèle ou demandent réparation pour les préjudices causés.

Pour évaluer la transparence, Bommasani et le directeur du CRFM, Percy Liang, ont réuni une équipe multidisciplinaire de Stanford, du MIT et de Princeton pour concevoir un système de notation appelé Foundation Model Transparency Index. Le FMTI évalue 100 aspects différents de la transparence, depuis la façon dont une entreprise construit un modèle de fondation, comment il fonctionne et comment il est utilisé en aval.

Lorsque l’équipe a noté 10 grandes entreprises modèles de fondations à l’aide de leur indice de 100 points, elle a trouvé de nombreuses possibilités d’amélioration : les scores les plus élevés, qui s’étendaient de 47 à 54, ne valent pas la peine de se vanter, tandis que le score le plus bas atteint 12. « C’est une indication assez claire de la façon dont ces entreprises se comparent à leurs concurrents, et nous espérons que cela les motivera à améliorer leur transparence », déclare Bommasani.

Un autre espoir est que le FMTI guidera les décideurs politiques vers une réglementation efficace des modèles de fondations. « Pour de nombreux décideurs politiques de l’UE ainsi qu’aux États-Unis, au Royaume-Uni, en Chine, au Canada, dans le G7 et dans un large éventail d’autres gouvernements, la transparence est une priorité politique majeure », déclare Bommasani.

L’index, accompagné d’un document détaillé de 100 pages sur la méthodologie et les résultats, met à disposition toutes les données sur les 100 indicateurs de transparence, le protocole utilisé pour la notation et les scores des développeurs accompagnés de justifications. Le document a également été publié sur arXiv serveur de préimpression.

Pourquoi la transparence est importante

Le manque de transparence constitue depuis longtemps un problème pour les consommateurs de technologies numériques, note Bommasani. Nous avons vu des publicités et des prix trompeurs sur Internet, des pratiques salariales peu claires dans le covoiturage, des schémas obscurs incitant les utilisateurs à effectuer des achats sans le savoir, et une myriade de problèmes de transparence autour de la modération du contenu qui ont conduit à un vaste écosystème de désinformation sur les réseaux sociaux. . À mesure que la transparence autour des FM commerciales diminue, nous sommes confrontés à des menaces similaires pour la protection des consommateurs, dit-il.

En outre, la transparence autour des modèles de fondations commerciales est importante pour faire progresser les initiatives politiques en matière d’IA et garantir que les utilisateurs en amont et en aval de l’industrie et du monde universitaire disposent des informations dont ils ont besoin pour travailler avec ces modèles et prendre des décisions éclairées, explique Liang.

Les modèles de base constituent une priorité croissante de la recherche sur l’IA et des domaines scientifiques adjacents, notamment dans les sciences sociales, explique Shayne Longpre, titulaire d’un doctorat. candidat au MIT : « Alors que les technologies de l’IA évoluent rapidement et sont rapidement adoptées dans tous les secteurs, il est particulièrement important pour les journalistes et les scientifiques de comprendre leurs conceptions, et en particulier les ingrédients bruts, ou données, qui les alimentent. »

Pour les décideurs politiques, la transparence est une condition préalable à d’autres efforts politiques. Les modèles de fondation soulèvent des questions substantielles concernant la propriété intellectuelle, les pratiques de travail, la consommation d’énergie et les préjugés, explique Bommasani. « Sans transparence, les régulateurs ne peuvent même pas poser les bonnes questions, et encore moins prendre des mesures dans ces domaines. »

Et puis il y a le public. En tant qu’utilisateurs finaux des systèmes d’IA, dit Bommasani, ils doivent savoir de quels modèles de base dépendent ces systèmes, comment signaler les dommages causés par un système et comment demander réparation.

Création du FMTI

Pour construire le FMTI, Bommasani et ses collègues ont développé 100 indicateurs de transparence différents. Ces critères découlent de la littérature sur l’IA ainsi que du domaine des médias sociaux, qui dispose d’un ensemble de pratiques plus matures en matière de protection des consommateurs.

Environ un tiers des indicateurs concernent la manière dont les développeurs de modèles de base construisent leurs modèles, y compris les informations sur les données de formation, la main-d’œuvre utilisée pour les créer et les ressources informatiques impliquées. Un autre tiers concerne le modèle lui-même, notamment ses capacités, sa fiabilité, ses risques et l’atténuation de ces risques. Et le dernier tiers concerne la manière dont les modèles sont utilisés en aval, y compris la divulgation des politiques de l’entreprise concernant la distribution des modèles, la protection des données des utilisateurs et le comportement des modèles, et si l’entreprise offre des possibilités de retour d’information ou de recours aux personnes concernées.

Les indicateurs sont conçus pour contourner certains des compromis traditionnels entre la transparence et d’autres valeurs, telles que la confidentialité, la sécurité, l’avantage concurrentiel ou les préoccupations concernant une utilisation abusive par de mauvais acteurs, explique Bommasani. « Notre intention est de créer un indice dans lequel la plupart des indicateurs ne sont pas en conflit avec les intérêts concurrentiels ; en examinant des questions précises, la tension entre transparence et concurrence est largement évitée », dit-il. « La divulgation ne devrait pas non plus risquer de faciliter une utilisation abusive par d’autres acteurs de l’écosystème. » En effet, pour certains indicateurs, un point est attribué si l’entreprise ne divulgue pas les informations demandées mais justifie pourquoi elles ne sont pas divulguées.

L’indice ne se concentre intentionnellement pas sur la notation de la responsabilité des entreprises. dit Bommasani. Si une entreprise révèle que la formation de ses modèles nécessite beaucoup d’énergie, qu’elle ne paie pas à ses travailleurs un salaire décent ou que ses utilisateurs en aval font quelque chose de nuisible, l’entreprise obtiendra quand même un point FMTI pour ces divulgations.

Bien que l’objectif soit une conduite plus responsable de la part des entreprises modèles de fondations, la transparence est un premier pas dans cette direction, dit Bommasani. En faisant apparaître tous les faits, le FMTI fixe les conditions qui permettront à un régulateur ou à un législateur de décider ce qui doit changer. « En tant que chercheurs, nous jouons un rôle déterminant en permettant à d’autres acteurs ayant plus de pouvoir dans l’écosystème d’adopter des changements politiques substantiels. »

Les scores

Pour évaluer les meilleurs créateurs de modèles, l’équipe de recherche a utilisé un protocole de recherche structuré pour collecter des informations accessibles au public sur le principal modèle de fondation de chaque entreprise. Cela comprenait l’examen des sites Web des entreprises ainsi que l’exécution d’un ensemble de recherches Google reproductibles pour chaque entreprise. « À notre avis, si ce processus rigoureux n’a pas permis de trouver d’informations sur un indicateur, alors l’entreprise n’a pas été transparente à ce sujet », déclare Kevin Klyman, étudiant à la maîtrise en politique internationale de Stanford et co-auteur principal de l’étude. .

Après que l’équipe ait rédigé une première ébauche des notations FMTI, elle a donné aux entreprises la possibilité de répondre. L’équipe a ensuite examiné les réfutations de l’entreprise et apporté les modifications nécessaires.

Bommasani et ses collègues ont publié les scores de 10 entreprises travaillant dans le domaine du modèle de fondation. Comme le montre le graphique ci-joint, Meta a obtenu le score le plus élevé : un score peu impressionnant de 54 sur 100.

« Nous ne devrions pas considérer Meta comme un poteau de but avec tout le monde essayant d’arriver là où se trouve Meta », déclare Bommasani. « Nous devrions penser à tous ceux qui tentent d’atteindre 80, 90 ou peut-être 100. »

Et il y a des raisons de croire que cela est possible : sur les 100 indicateurs, au moins une entreprise a obtenu un point pour 82 d’entre eux.

Les indicateurs dans lesquels presque toutes les entreprises ont enregistré de mauvais résultats sont peut-être plus importants. Par exemple, aucune entreprise ne fournit d’informations sur le nombre d’utilisateurs qui dépendent de son modèle ni de statistiques sur les zones géographiques ou les secteurs de marché qui utilisent son modèle. La plupart des entreprises ne divulguent pas non plus dans quelle mesure le matériel protégé par le droit d’auteur est utilisé comme données de formation. Les entreprises ne divulguent pas non plus leurs pratiques de travail, ce qui peut s’avérer très problématique.

« À notre avis, les entreprises devraient commencer à partager ce type d’informations critiques sur leurs technologies avec le public », déclare Klyman.

À mesure que le marché des modèles de fondation mûrit et se solidifie et que les entreprises progressent peut-être vers une plus grande transparence, il sera important de maintenir le FMTI à jour, dit Bommasani. Pour faciliter cela, l’équipe demande aux entreprises de divulguer les informations sur chacun des indices FMTI en un seul endroit, ce qui leur rapportera un point FMTI. « Ce serait bien mieux si nous devions seulement vérifier les informations plutôt que de les rechercher », déclare Bommasani.

L’impact potentiel du FMTI

Neuf des dix entreprises évaluées par l’équipe se sont volontairement engagées auprès de l’administration Biden-Harris à gérer les risques posés par l’IA. Bommasani espère que le FMTI récemment publié motivera ces entreprises à tenir leurs engagements en augmentant la transparence.

Il espère également que le FMTI contribuera à éclairer l’élaboration des politiques des gouvernements du monde entier. Exemple concret : l’Union européenne travaille actuellement à l’adoption de la loi sur l’IA. La position du Parlement européen au moment où il entame les négociations exige la divulgation de certains des indicateurs couverts par le FMTI, mais pas de tous.

En soulignant les lacunes des entreprises, Bommasani espère que le FMTI aidera à cibler l’approche de l’UE sur le prochain projet. « Je pense que cela leur donnera beaucoup de clarté sur la situation, ce qui est bon et mauvais dans le statu quo, et ce qu’ils pourraient potentiellement changer avec la législation et la réglementation. »