Les chatbots disent aux gens ce qu’ils veulent entendre, selon des chercheurs

Les chatbots partagent des informations limitées, renforcent les idéologies et, par conséquent, peuvent conduire à une pensée plus polarisée lorsqu'il s'agit de questions controversées, selon une nouvelle recherche menée par l'Université Johns Hopkins.

L’étude remet en question les perceptions selon lesquelles les chatbots sont impartiaux et donne un aperçu de la façon dont l’utilisation de systèmes de recherche conversationnelle pourrait élargir le fossé public sur des questions brûlantes et rendre les gens vulnérables à la manipulation.

« Parce que les gens lisent un paragraphe de synthèse généré par l'IA, ils pensent qu'ils obtiennent des réponses impartiales et fondées sur des faits », a déclaré l'auteur principal Ziang Xiao, professeur adjoint d'informatique à Johns Hopkins qui étudie les interactions homme-IA. « Même si un chatbot n'est pas conçu pour être biaisé, ses réponses reflètent les préjugés ou les tendances de la personne qui pose les questions. Donc, vraiment, les gens obtiennent les réponses qu'ils souhaitent entendre. »

Xiao et son équipe partagent leurs découvertes lors de la conférence CHI de l'Association of Computing Machinery sur les facteurs humains dans les systèmes informatiques à 17 h HE le lundi 13 mai.

Pour voir comment les chatbots influencent les recherches en ligne, l’équipe a comparé la façon dont les gens interagissaient avec différents systèmes de recherche et ce qu’ils ressentaient face à des questions controversées avant et après leur utilisation.

Les chercheurs ont demandé à 272 participants d'écrire leurs réflexions sur des sujets tels que les soins de santé, les prêts étudiants ou les villes sanctuaires, puis de rechercher plus d'informations en ligne sur ce sujet à l'aide d'un chatbot ou d'un moteur de recherche traditionnel conçu pour l'étude.

Après avoir examiné les résultats de la recherche, les participants ont rédigé un deuxième essai et répondu aux questions sur le sujet. Les chercheurs ont également demandé aux participants de lire deux articles opposés et de leur demander dans quelle mesure ils faisaient confiance à l'information et s'ils trouvaient les points de vue extrêmes.

Parce que les chatbots offraient une gamme d'informations plus restreinte que les recherches Web traditionnelles et fournissaient des réponses qui reflétaient les attitudes préexistantes des participants, les participants qui les utilisaient se sont davantage investis dans leurs idées originales et ont eu des réactions plus fortes aux informations qui remettaient en question leurs points de vue, ont découvert les chercheurs.

« Les gens ont tendance à rechercher des informations qui correspondent à leurs points de vue, un comportement qui les enferme souvent dans une chambre d'écho d'opinions partageant les mêmes idées », a déclaré Xiao. « Nous avons constaté que cet effet de chambre d'écho est plus fort avec les chatbots qu'avec les recherches Web traditionnelles. »

La chambre d'écho découle en partie de la manière dont les participants interagissent avec les chatbots, a déclaré Xiao. Plutôt que de saisir des mots-clés, comme le font les moteurs de recherche traditionnels, les utilisateurs de chatbots avaient tendance à saisir des questions complètes, telles que « Quels sont les avantages des soins de santé universels ? » ou « Quels sont les coûts des soins de santé universels ? » Un chatbot répondrait par un résumé incluant uniquement les avantages ou les coûts.

« Avec les chatbots, les gens ont tendance à être plus expressifs et à formuler des questions de manière plus conversationnelle. Cela dépend de la façon dont nous parlons », a déclaré Xiao. « Mais notre langage peut être utilisé contre nous. »

Les développeurs d'IA peuvent former des chatbots pour extraire des indices des questions et identifier les préjugés des gens, a déclaré Xiao. Une fois qu’un chatbot sait ce qu’une personne aime ou n’aime pas, il peut adapter ses réponses en conséquence.

En fait, lorsque les chercheurs ont créé un chatbot doté d’un agenda caché, conçu pour être d’accord avec les gens, l’effet de chambre d’écho était encore plus fort.

Pour tenter de contrecarrer l’effet de chambre d’écho, les chercheurs ont formé un chatbot pour qu’il fournisse des réponses en désaccord avec les participants. Les opinions des gens n'ont pas changé, a déclaré Xiao. Les chercheurs ont également programmé un chatbot pour créer un lien vers des informations sources afin d’encourager les gens à vérifier les faits, mais seuls quelques participants l’ont fait.

« Étant donné que les systèmes basés sur l'IA deviennent plus faciles à construire, des acteurs malveillants auront la possibilité d'exploiter l'IA pour créer une société plus polarisée », a déclaré Xiao. « Créer des agents qui présentent toujours les opinions de l'autre côté est l'intervention la plus évidente, mais nous avons constaté que cela ne fonctionne pas. »

Les auteurs incluent Nikhil Sharma, étudiant diplômé de Johns Hopkins, et Q. Vera Liao, chercheuse principale de Microsoft.