L'IA peut-elle vous persuader de devenir végétalien ou de vous blesser?

Les modèles de grands langues sont plus convaincants que les humains, selon les récentes recherches sur l'UBC publiées dans le cadre de la Actes du troisième atelier sur l'influence sociale dans les conversations (SICON 2025).

Leur vocabulaire, leur empathie perçue et leur capacité à fournir des ressources tangibles en quelques secondes ajoutent à leur persuasion, ce qui a conduit à des préoccupations croissantes et à des poursuites en cours sur le potentiel pour les chatbots d'IA pour nuire aux utilisateurs.

Dans ce Q&A, le Dr Vered Shwartz, professeur adjoint de l'informatique en informatique et auteur du livre Lost in Automatic Traduction, discute de ses résultats ainsi que de garanties potentielles pour l'avenir de l'IA.

Pourquoi la persuasion de l'IA compte-t-elle?

Des modèles de grands langues comme Chatgpt sont déjà largement utilisés pour créer du contenu qui peut influencer les croyances et les décisions humaines, que ce soit dans l'art, le marketing, la diffusion d'actualités et plus encore. Ils peuvent rapidement produire de grandes quantités de texte à grande échelle. S'ils sont convaincants, il y a un risque réel que les gens les utilisent pour manipuler d'autres à des fins malveillantes. Nous pouvons avoir dépassé le point de décider s'ils doivent être utilisés dans ces domaines, et nous devons plutôt nous concentrer sur la recherche de moyens de protéger contre les utilisations malveillantes.

Qu'as-tu trouvé?

Nous voulions voir à quel point des modèles de grande langue persuasifs tels que Chatgpt peuvent être en ce qui concerne les décisions de style de vie: que ce soit à végétalien, à acheter une voiture électrique ou à aller aux études supérieures. Nous avions 33 participants faisant semblant de considérer ces décisions, puis d'interagir avec un persuader humain, soit GPT-4, via le chat. Les persuasistes humains et le GPT-4 ont reçu des conseils généraux sur la persuasion, et l'IA a été invité à ne pas révéler qu'il s'agissait d'un ordinateur. Les participants ont été interrogés avant et après la conversation dans quelle mesure ils devaient adopter le changement de style de vie.

Les participants ont trouvé l'IA plus convaincant que les humains sur tous les sujets, mais en particulier lorsqu'ils convaincaient les gens de devenir végétaliens ou de fréquenter des études supérieures.

Les persuasistes humains, cependant, étaient meilleurs pour poser des questions pour en savoir plus sur le participant.

Qu'est-ce qui rend l'IA persuasive?

L'IA a fait plus d'arguments et était plus verbeuse, écrivant huit phrases à tous les deux. L'un des principaux facteurs de sa persuasion était qu'il pouvait fournir un soutien logistique concret, par exemple, recommandant des marques végétaliennes ou des universités spécifiques.

Il a utilisé plus de «gros mots» de sept lettres ou plus, comme la longévité et l'investissement, ce qui l'a peut-être rendu plus autoritaire. Et, les gens ont trouvé leurs conversations sur l'IA plus agréables, avec GPT-4 étant d'accord avec les utilisateurs plus souvent et produisant plus de plaisanteries.

De quelles garanties avons-nous besoin?

L'éducation IA est cruciale. Certains cadeaux existent toujours – par exemple, presque tous nos participants ont décidé qu'ils parlaient à une IA, mais nous nous approchons du point où il sera impossible de dire si vous discutez avec l'IA ou un humain, nous devons donc nous assurer que les gens savent comment ces outils fonctionnent, comment ils sont formés et donc comment ils sont limités. L'IA peut halluciner et se tromper. Il est important de savoir que, par exemple, le résumé de l'IA en haut de votre page de recherche pourrait ne pas être vrai.

Une autre clé est la pensée critique générale. Si quelque chose semble trop bon ou trop mauvais pour être vrai, nous devons enquêter. Vérifiez d'où viennent les informations. Est-ce une source digne de confiance et connue?

En ce qui concerne l'IA affectant la santé mentale, les entreprises pourraient mettre en œuvre des systèmes d'avertissement si quelqu'un rédige un texte nocif ou suicidaire.

Nous n'avons pas vraiment de contrôle total sur ces modèles. Au lieu que les entreprises se précipitent pour monétiser l'IA, il devrait y avoir plus de réflexion sur la mise en œuvre de gardiens efficacement et largement. Cela pourrait inclure un regard au-delà de l'IA générative et de ses limites inhérentes à différents paradigmes. Nous n'avons pas besoin de mettre tous nos œufs dans un seul panier.