Les préjugés raciaux dans l'intelligence artificielle limitent l'accès vital aux soins de santé et aux services financiers, selon un scientifique des données

La protection des consommateurs est la première salve de la réglementation américaine sur l’IA

Crédit : domaine public CC0

La Federal Trade Commission a lancé une enquête sur le fabricant de ChatGPT OpenAI pour des violations potentielles des lois sur la protection des consommateurs. La FTC a envoyé à l’entreprise une demande d’informations de 20 pages dans la semaine du 10 juillet 2023. Cette décision intervient alors que les régulateurs européens ont commencé à agir et que le Congrès travaille sur une législation visant à réglementer l’industrie de l’intelligence artificielle.

La FTC a demandé à OpenAI de fournir des détails sur toutes les plaintes que l’entreprise a reçues d’utilisateurs concernant des déclarations « fausses, trompeuses, dénigrantes ou préjudiciables » diffusées par OpenAI, et si OpenAI s’est livrée à des pratiques déloyales ou trompeuses concernant les risques de préjudice pour les consommateurs. , y compris atteinte à la réputation. L’agence a posé des questions détaillées sur la façon dont OpenAI obtient ses données, comment elle forme ses modèles, les processus qu’elle utilise pour la rétroaction humaine, l’évaluation et l’atténuation des risques, et ses mécanismes de protection de la vie privée.

En tant que chercheur sur les médias sociaux et l’IA, je reconnais l’immense potentiel de transformation des modèles d’IA générative, mais je crois que ces systèmes présentent des risques. En particulier, dans le cadre de la protection des consommateurs, ces modèles peuvent produire des erreurs, présenter des biais et violer la confidentialité des données personnelles.

Pouvoir caché

Au cœur des chatbots tels que ChatGPT et des outils de génération d’images tels que DALL-E se trouve la puissance des modèles d’IA générative qui peuvent créer un contenu réaliste à partir de textes, d’images, d’entrées audio et vidéo. Ces outils sont accessibles via un navigateur ou une application pour smartphone.

Étant donné que ces modèles d’IA n’ont pas d’utilisation prédéfinie, ils peuvent être affinés pour un large éventail d’applications dans une variété de domaines allant de la finance à la biologie. Les modèles, formés sur de grandes quantités de données, peuvent être adaptés à différentes tâches avec peu ou pas de codage et parfois aussi facilement qu’en décrivant une tâche dans un langage simple.

Étant donné que les modèles d’IA tels que GPT-3 et GPT-4 ont été développés par des organisations privées utilisant des ensembles de données propriétaires, le public ne connaît pas la nature des données utilisées pour les former. L’opacité des données de formation et la complexité de l’architecture du modèle (GPT-3 a été formé sur plus de 175 milliards de variables ou « paramètres ») rendent difficile pour quiconque d’auditer ces modèles. Par conséquent, il est difficile de prouver que la façon dont ils sont construits ou entraînés cause des dommages.

Hallucinations

Dans les IA de modèles linguistiques, une hallucination est une réponse confiante qui est inexacte et apparemment non justifiée par les données d’entraînement d’un modèle. Même certains modèles d’IA génératifs conçus pour être moins sujets aux hallucinations les ont amplifiés.

Il existe un risque que les modèles d’IA génératifs produisent des informations incorrectes ou trompeuses qui peuvent finir par être préjudiciables aux utilisateurs. Une étude portant sur la capacité de ChatGPT à générer des écrits scientifiques factuellement corrects dans le domaine médical a révélé que ChatGPT finissait soit par générer des citations d’articles inexistants, soit par rapporter des résultats inexistants. Mes collaborateurs et moi avons trouvé des schémas similaires dans nos enquêtes.

De telles hallucinations peuvent causer de réels dégâts lorsque les modèles sont utilisés sans surveillance adéquate. Par exemple, ChatGPT a faussement affirmé qu’un professeur qu’il avait nommé avait été accusé de harcèlement sexuel. Et un animateur de radio a déposé une plainte en diffamation contre OpenAI concernant ChatGPT, affirmant à tort qu’il y avait une plainte légale contre lui pour détournement de fonds.

Préjugés et discrimination

Sans garanties ou protections adéquates, les modèles d’IA générative formés sur de grandes quantités de données collectées sur Internet peuvent finir par reproduire les préjugés sociétaux existants. Par exemple, les organisations qui utilisent des modèles d’IA générative pour concevoir des campagnes de recrutement pourraient finir par discriminer involontairement certains groupes de personnes.

Lorsqu’un journaliste a demandé à DALL-E 2 de générer des images d' »un journaliste technologique écrivant un article sur un nouveau système d’IA capable de créer des images remarquables et étranges », il n’a généré que des images d’hommes. Une application de portrait IA a montré plusieurs biais socioculturels, par exemple en éclaircissant la couleur de peau d’une actrice.

Confidentialité des données

Une autre préoccupation majeure, particulièrement pertinente pour l’enquête de la FTC, est le risque de violation de la vie privée où l’IA peut finir par révéler des informations sensibles ou confidentielles. Un pirate informatique pourrait accéder à des informations sensibles sur des personnes dont les données ont été utilisées pour former un modèle d’IA.

Les chercheurs ont mis en garde contre les risques liés aux manipulations appelées attaques par injection rapide, qui peuvent inciter l’IA générative à donner des informations qu’elle ne devrait pas. Les attaques « d’injection rapide indirecte » pourraient tromper les modèles d’IA avec des étapes telles que l’envoi à quelqu’un d’une invitation de calendrier avec des instructions pour que son assistant numérique exporte les données du destinataire et les envoie au pirate.

Quelques solutions

La Commission européenne a publié des lignes directrices éthiques pour une IA digne de confiance, qui comprennent une liste de contrôle d’évaluation pour six aspects différents des systèmes d’IA : agence et surveillance humaines ; robustesse technique et sécurité ; confidentialité et gouvernance des données ; transparence, diversité, non-discrimination et équité ; bien-être sociétal et environnemental; et responsabilité.

Une meilleure documentation des processus des développeurs d’IA peut aider à mettre en évidence les dommages potentiels. Par exemple, des chercheurs en équité algorithmique ont proposé des modèles de cartes, qui s’apparentent aux étiquettes nutritionnelles des aliments. Les déclarations de données et les fiches techniques, qui caractérisent les ensembles de données utilisés pour former des modèles d’IA, joueraient un rôle similaire.

Amazon Web Services, par exemple, a introduit des cartes de service AI qui décrivent les utilisations et les limites de certains modèles qu’il propose. Les cartes décrivent les capacités des modèles, les données de formation et les utilisations prévues.

L’enquête de la FTC laisse entendre que ce type de divulgation pourrait être une direction prise par les régulateurs américains. De plus, si la FTC découvre qu’OpenAI a violé les lois sur la protection des consommateurs, elle pourrait infliger une amende à l’entreprise ou la soumettre à un décret de consentement.