Que peut nous apprendre la psychologie sur le problème des biais et de la désinformation de l’IA ?

La connaissance peut être le pouvoir. Mais que se passe-t-il si l’information qui mène à cette connaissance est erronée ?

Pour Celeste Kidd, professeure adjointe de psychologie à l’UC Berkeley, la réponse est simple : c’est dangereux et peut-être l’aspect le plus préoccupant de l’expansion rapide de l’IA générative.

Des systèmes comme ChatGPT, Stable Diffusion et DALL-E se sont propagés à travers la planète. Des millions de personnes ont utilisé ces plateformes pour s’amuser, les ont intégrées à leurs flux de travail professionnels et se sont tournées vers elles pour obtenir des réponses rapides sur des sujets à la fois triviaux et complexes.

Ce boom de l’IA a conduit des milliers d’universitaires et de leaders technologiques à appeler à une pause sur les développements futurs, citant ce qu’ils appellent « des risques profonds pour la société et l’humanité ». De la perturbation de l’emploi à la course aux armements de l’IA des entreprises, les enjeux sont importants.

Mais peut-être que le risque le plus périlleux et le plus négligé est de savoir comment les préjugés raciaux et les mensonges purs et simples que les systèmes d’IA produisent peuvent altérer à jamais ce que nous savons et comment nous pensons, a déclaré Kidd.

Dans une perspective publiée le 22 juin dans la revue ScienceKidd et le co-auteur Abeba Birhane, chercheur principal en IA digne de confiance à la Fondation Mozilla et professeur adjoint adjoint en informatique au Trinity College de Dublin, expliquent comment des décennies de recherche psychologique sur la façon dont nous apprenons « peuvent aider à construire un pont de compréhension sur ce que est en jeu. »

« Lorsque les responsables de l’entreprise parlent des dommages potentiels, ils donnent massivement des exemples de forces néfastes utilisant cette technologie pour le mal », a déclaré Kidd. « Dans cet article, nous parlons des dommages qui résulteront de l’utilisation prévue de ces systèmes. Il n’est pas nécessaire qu’une force néfaste utilise le système pour générer de la désinformation destinée à tromper les gens. »

Berkeley News s’est entretenu avec Kidd du commentaire dans Sciencel’état de l’IA et ce que la psychologie peut nous apprendre sur les risques posés par ces plateformes.

Berkeley News : Vous avez commencé à rédiger cet article en février, avant que beaucoup n’appellent à une pause dans le développement de l’IA. Pourquoi était-il important pour vous, en tant que psychologue, d’expliquer comment l’IA déforme les croyances humaines ?

Celeste Kidd : Il est bien établi que ces modèles d’IA produisent du matériel biaisé et aussi des fabrications. Ce n’est pas nouveau. Ce qui était décourageant pour moi et d’autres personnes travaillant dans ce domaine, ce sont les réponses des développeurs : « Oui, il y a des problèmes », disaient-ils. « Il y a des distorsions. Il y a des fabrications et des préjugés. Mais nous avons besoin de gens pour utiliser les modèles afin de découvrir les problèmes, puis nous allons les corriger. »

Le problème avec cette logique est que beaucoup de préjugés et de fabrications peuvent ne pas être détectables par les gens, surtout s’ils utilisent le système pour les aider à se décider.

À ce stade, ces systèmes ont transmis l’information à la personne. Ce n’est peut-être pas facile à corriger.

Dans l’article, vous mentionnez plusieurs «principes de la psychologie» qui aident à expliquer pourquoi les préjugés et la désinformation sont des choses si importantes à comprendre en matière d’apprentissage. Que veux-tu dire?

Nous savons que les gens forment plus rapidement des croyances plus fortes sur la base d’agents qu’ils considèrent comme confiants. Ces chatbots sont comme une conversation que vous avez, ce qui est très différent des résultats que vous pourriez rencontrer lorsque vous effectuez une recherche en ligne. Cela ressemble plus à une personne en raison de la nature de la présentation de l’information.

De plus, ces systèmes ne génèrent pas les types de marqueurs d’incertitude que le ferait un agent humain. Lorsque les gens parlent, ils disent des choses comme « je pense » ou « je suis presque sûr ». Il y a toutes sortes de marqueurs verbaux d’être incertain. Les sorties du modèle d’IA générative ne contiennent rien qui signale une incertitude pour faire savoir aux gens que les réponses peuvent ne pas être fiables. En fait, il n’y a rien dans l’architecture de ces modèles qui pourrait être utilisé pour intégrer un signal d’incertitude dans les sorties.

Ces modèles ne peuvent pas discerner le fait de la fabrication. C’est un problème.

Vous avez également écrit qu’il y a une fenêtre de temps limitée pendant laquelle nous sommes ouverts à changer d’avis tout en apprenant de nouvelles choses, n’est-ce pas ? Dites-m’en plus à ce sujet.

Si quelqu’un utilise quelque chose comme ChatGPT pour rechercher des informations, s’il le considère comme un outil qui indexe ou catalogue toutes les connaissances humaines, il compte sur lui pour lui fournir de bonnes informations. Ils commencent à utiliser ce système à un moment très particulier, c’est-à-dire lorsqu’ils sont très curieux.

C’est lorsque vous êtes très curieux que vous êtes le plus disposé à changer d’avis. C’est alors que vous cherchez des informations. C’est alors que l’apprentissage se produit. C’est un moment magique. Mais si c’est le moment où l’on vous nourrit de préjugés et d’inventions, c’est un problème, surtout s’ils sont véhiculés avec assurance et surtout s’ils sont renforcés, s’ils se répètent. Ces systèmes sont conçus pour présenter une sorte de réponse exhaustive et concise. C’est exactement le genre d’information dont nous craignons qu’elle ne ferme cette possibilité d’apprentissage.

En d’autres termes, vous avez une incertitude, et une fois qu’elle est résolue, la fenêtre pour changer d’avis se ferme. Il n’est pas facile d’ouvrir après cela.

Vous avez écrit que les groupes marginalisés sont parmi ceux qui sont le plus négativement affectés par ces préjugés. Des reportages récents l’ont également montré dans les moindres détails. Comment voyez-vous cela devenir un problème plus enraciné?

Les gens prêtent constamment attention aux statistiques dans le monde et intègrent ces statistiques dans leur vision de la façon dont les choses fonctionnent dans le monde. Si vous utilisez Stable Diffusion, un modèle d’IA texte-image, afin de générer des images basées sur les professions, et qu’il y a des stéréotypes et des préjugés là-dedans, c’est quelque chose qui va avoir un impact sur votre propre perception.

Il est important de pouvoir se prémunir contre ces systèmes qui suggèrent à tort que la plupart des criminels ou des trafiquants de drogue sont des personnes de couleur.

Nous vivons à une époque où des choses comme la mésinformation et la désinformation sont déjà omniprésentes. Les gens pourraient être prompts à regrouper l’IA générative avec le reste des demi-vérités ou des mensonges qui tourbillonnent déjà en ligne. Vous dites que c’est en fait plus préoccupant. Pourquoi?

Le fait que vous interagissiez avec ces systèmes comme s’ils étaient des agents est quelque chose de différent que nous n’avons jamais vu auparavant. Les fabrications sont également très différentes de ce que nous avons vu avec la recherche. Il n’y a rien dans ces modèles qui a la capacité de discerner les faits de la fiction.

La technologie est incroyable. Il fait vraiment très bien certaines choses. Mais il n’y a rien dans ce processus qui cherche même à savoir si le matériel est vrai. C’est très différent de quelque chose comme un algorithme de recherche qui indexe, recommande et ordonne le contenu créé par l’homme.

Ces systèmes modifieront également fondamentalement le contenu d’Internet, dans la mesure où il est beaucoup moins créé par l’homme, créant des problèmes en cascade en aval qui ont un impact même sur les algorithmes de recherche traditionnels. Les sorties du modèle – et toutes les fabrications et biais qu’elles contiennent – seront ensuite utilisées pour former de futurs modèles, ce qui aggravera ces problèmes.

Au cours des six derniers mois, il a été difficile d’éviter les nouvelles sur ces systèmes, y compris les scénarios apocalyptiques. Cela fait-il aussi partie du problème que vous décrivez?

Il y a beaucoup de battage autour de ces systèmes. Il y a beaucoup de couverture médiatique poussée par les entreprises et les personnes qui ont des intérêts financiers pour donner l’impression qu’il s’agit de technologies très sophistiquées.

Ce battage médiatique en soi pourrait en fait faire plus de mal que les systèmes ne le feraient par eux-mêmes.

À cause de ce battage médiatique, les gens entrent dans ces systèmes en s’attendant à ce qu’ils aient des niveaux humains d’intelligence. Ils peuvent être influencés plus rapidement de manière plus permanente que s’ils étaient conscients de la vérité, à savoir que ces systèmes ne sont pas si intelligents.

Vous écrivez sur la façon dont ces croyances mal informées sont ensuite transmises d’une personne à une autre à perpétuité. Ce n’est pas très encourageant.

C’est un ton lugubre. Je pense que c’est le risque si ces systèmes sont largement intégrés dans beaucoup d’autres choses. Cela crée la possibilité d’une exposition répétée aux mêmes types de fabrications et de préjugés. Si de nombreuses personnes dans une population utilisent à nouveau le même système, c’est un problème. Parce que l’une des vraies forces des humains en tant qu’espèce est notre capacité à compter les uns sur les autres et la divergence des opinions des gens.

Parfois, beaucoup de choses dans le monde sont vraiment difficiles à savoir. Quel est le sens de la vie? Que dois-je faire de mon temps sur Terre ? Ce sont de grandes questions qui sont inconnaissables. Et en tant qu’êtres humains, pour ce genre de questions, nous sondons les gens. Nous prêtons attention à ce que les autres pensent. Nous mettons à jour car nous rencontrons une grande variété de différents types d’opinions.

Le fait que lorsque vous recueillez des informations de cette façon, dans un contexte où il y a du bruit, où il y a beaucoup de divergences d’opinions, cela rend les choses plus difficiles. C’est moins satisfaisant parce que vous n’obtenez pas la petite pépite de l’information que vous recherchez. Vous n’obtenez pas seulement une réponse simple.

Mais c’est bien dans le contexte de choses difficiles à connaître ou de choses qui changent. Si vous n’obtenez pas cette petite pépite satisfaisante, vous restez curieux. Et cela signifie que vous restez ouvert à l’intégration de nouvelles informations au fil du temps.

Vous offrez quelques suggestions sur la voie à suivre. Quels sont ces?

L’un d’eux consiste en des ressources permettant de développer des documents pour informer les décideurs et le public sur ce que ces systèmes sont et ne sont pas. Cela doit se produire, et cette mission doit être dirigée par des personnes qui n’ont pas d’intérêt financier à ce que ces modèles fonctionnent bien.

Nous avons également besoin de ressources de toute urgence pour étudier comment des éléments tels que votre perception de la confiance dans un modèle affectent le degré auquel il est capable de déformer vos croyances et le degré auquel les préjugés vous sont transmis. Nous savons à quoi nous attendre, en général, après des décennies de recherche en psychologie.

Cet aspect, le fait que les gens soient influencés par le matériel qu’ils rencontrent, n’est pas nouveau, mais il y a beaucoup de variables qui nous manquent. Alors, comment sont les gens concernant ces modèles? Comment interagissent-ils avec ces modèles ? Ce sont des choses qui peuvent être étudiées et devraient être étudiées de manière empirique afin que nous soyons en mesure de générer le plan d’action le plus efficace pour atténuer les risques.

Vous pensiez à cette pièce il y a des mois, avant que certaines personnes ne sortent et appellent à une sorte de pause sur le développement de ces outils. Vous considérez-vous comme quelqu’un qui pense aussi qu’il doit y avoir une pause ?

C’est une question délicate. Je ne pense pas vouloir y répondre exactement dans ce format. Je dirai quelque chose, cependant. Certains des thèmes de la Science pièce est apparue à la fois dans mes travaux antérieurs et dans ceux d’Abeba Birhane. Nous nous inquiétons depuis longtemps des préjugés dans les systèmes et de la manière dont ils pourraient se propager parmi les gens et avoir un impact sur eux.

Le battage médiatique autour de l’IA générative en ce moment rend ces problèmes beaucoup plus urgents. Et cela aggrave potentiellement les distorsions, car, encore une fois, cela amène les gens à croire que c’est quelque chose de vraiment intelligent. Cela pourrait vous amener à croire que c’est quelque chose de fiable.

J’appellerais à une pause dans le battage médiatique. C’est la chose la plus importante et la plus urgente.