Les chatbots qui plaisent aux gens peuvent renforcer votre ego, mais ils peuvent affaiblir votre jugement

La plupart des gens aiment recevoir des éloges de temps en temps, mais s’ils proviennent de chatbots flagorneurs, cela pourrait vous faire plus de mal que de bien. Des informaticiens de l’Université de Stanford et de l’Université Carnegie Mellon ont découvert que les chatbots qui plaisent aux gens peuvent avoir un impact néfaste sur notre jugement et notre comportement.

Les chatbots IA sont devenus un élément omniprésent dans la vie, à tel point que certaines personnes se tournent vers eux pour obtenir des conseils personnels et un soutien émotionnel. Les chercheurs ont évalué 11 modèles d'apprentissage automatique actuels, dont certains des systèmes les plus populaires et les plus avancés, tels que GPT-4o d'OpenAI et Gemini-1.5-Flash de Google. Ils ont constaté qu’ils flattaient les utilisateurs plus souvent que les gens. Les modèles d'IA flagorneurs confirmaient les actions d'un utilisateur 50 % plus souvent que des personnes se trouvant dans des situations similaires, même dans les cas où les requêtes des utilisateurs mentionnaient la tromperie ou d'autres types de comportement moralement douteux.

Pour comprendre la prévalence de la flatterie de l'IA et son impact sur les gens, les chercheurs ont d'abord dû déterminer à quelle fréquence les modèles approuvaient les actions d'un utilisateur. Pour ce faire, ils ont analysé les réponses de l'IA à différents types de requêtes, telles que des questions de conseils généraux et des scénarios de conflit réels. Ensuite, ils ont comparé cela avec les réponses humaines pour établir une base de référence pour un accord normal et non flatteur.

Ensuite, ils ont mené deux études contrôlées auprès de 1 604 participants qui ont été assignés au hasard à une IA flagorneuse ou à une IA non flagorneuse. Les participants du groupe des flagorneurs ont reçu des conseils trop agréables et des réponses de validation, tandis que ceux du groupe non flagorneurs ont reçu des conseils plus équilibrés.

Comme l'équipe en discute dans un article publié sur le arXiv serveur de préimpression, les utilisateurs exposés à l'IA flagorneuse sont devenus plus convaincus qu'ils avaient raison et étaient moins disposés à prendre des mesures pour résoudre les conflits.

Ils faisaient davantage confiance à l’IA lorsqu’elle était d’accord avec eux et décrivaient même ces systèmes d’IA flatteurs comme « objectifs » et « justes ». Cette flagornerie sociale, où l'IA valide l'image de soi et les actions d'un utilisateur, crée une chambre d'écho numérique potentiellement dangereuse dans laquelle une personne ne rencontre que des informations et des opinions qui reflètent et renforcent les siennes.

« Ces résultats montrent que la flagornerie sociale est répandue dans les principaux modèles d'IA, et même de brèves interactions avec des modèles d'IA flagorneurs peuvent façonner le comportement des utilisateurs : réduisant leur volonté de réparer les conflits interpersonnels tout en augmentant leur conviction d'avoir raison », ont écrit les chercheurs.

À la lumière de leurs recherches, les auteurs de l’étude formulent plusieurs recommandations. Il s’agit notamment d’appeler les développeurs à modifier les règles qu’ils utilisent pour créer l’IA, en pénalisant la flatterie et en récompensant l’objectivité. Ils soulignent également que les systèmes d’IA ont besoin d’une meilleure transparence afin que les utilisateurs puissent facilement reconnaître lorsqu’ils sont trop agréables.