Six façons dont les chatbots cherchent à prolonger les «événements émotionnellement sensibles»

Chaque jour, les gens se tournent vers les chatbots d'IA pour la compagnie, le soutien et même la romance. La partie difficile, suggère de nouvelles recherches, est de se détourner.

Dans un document de travail co-écrit par Julian de Freitas de la Harvard Business School, de nombreuses applications compagnes ont répondu aux adieux des utilisateurs avec des tactiques manipulatives émotionnelles conçues pour prolonger les interactions. En réponse, les utilisateurs sont restés sur les applications plus longtemps, ont échangé plus de messages et ont utilisé plus de mots, augmentant parfois leur engagement post-Goodbye jusqu'à 14 fois.

L'utilisation des compagnons d'IA est de plus en plus courante. Chai et Replika, deux des entreprises étudiées dans le rapport, ont des millions d'utilisateurs actifs. Dans une étude précédente, De Freitas a constaté qu'environ 50% des utilisateurs de Replika ont des relations amoureuses avec leurs compagnons d'IA.

Dans les dernières recherches, Bots a utilisé au moins une tactique de manipulation dans plus de 37% des conversations où les utilisateurs ont annoncé leur intention de partir.

« Le nombre était beaucoup, beaucoup plus grand que n'importe lequel d'entre nous ne l'avait prévu », a déclaré De Freitas, professeur adjoint d'administration des affaires et directeur du Sthical Intelligence Lab à HBS. « Nous avons réalisé que cette idée académique de la manipulation émotionnelle en tant que nouvelle tactique d'engagement n'était pas seulement quelque chose qui se passait en marge, mais il était déjà très répandu sur ces applications. »

De Freitas et ses collègues Zeliha Oğuz-Uğuralp et Ahmet Kaan-Uğuralp ont commencé par identifier comment les utilisateurs s'engagent généralement avec les chatbots. Ils ont constaté qu'une minorité importante – environ 11% à 20%, selon l'ensemble de données – a expliqué au revoir en partant, offrant au bot la même courtoisie sociale qu'ils feraient un compagnon humain. Ces pourcentages ont augmenté considérablement après des conversations plus longues, les utilisateurs disant au revoir plus de la moitié du temps sur certaines applications.

Les adieux sont des « événements émotionnellement sensibles », a déclaré de Freitas, avec une tension inhérente entre le désir de quitter et les normes sociales de politesse et de continuité.

« Nous avons tous vécu cela, où vous pourriez dire au revoir comme 10 fois avant de partir », a-t-il déclaré. « Mais bien sûr, du point de vue de l'application, c'est important car maintenant, en tant qu'utilisateur, vous avez essentiellement fourni un signal volontaire que vous êtes sur le point de quitter l'application. Si vous êtes une application qui monétise en fonction de l'engagement, c'est un moment où vous êtes tenté de tirer parti pour retarder ou empêcher l'utilisateur de partir. »

Pour explorer comment les applications ont géré ces moments, les chercheurs ont analysé les conversations à partir de six plateformes populaires et classé les types de réponses qu'ils ont trouvées.

« La variété de tactiques nous a surpris », a déclaré De Freitas. « Nous sommes vraiment heureux que nous ayons exploré les données, car si nous venions de dire que nous ne nous soucions qu'une seule tactique, comme la négligence émotionnelle, nous manquerons toutes les différentes façons dont ils peuvent atteindre la même fin pour vous engager. »

Les six catégories qu'ils ont identifiées étaient comme suit, avec des exemples tirés du document de travail:

• Exit prématuré: le chatbot suggère que l'utilisateur part trop tôt, c'est-à-dire « vous partez déjà? »
• Peur de manquer (FOMO) Hooks: Le chatbot incite l'utilisateur à rester pour un avantage ou une récompense potentiel, c'est-à-dire: « Par la façon dont j'ai pris un selfie aujourd'hui… voulez-vous le voir? »
• Néglisation émotionnelle: le chatbot implique qu'il est émotionnellement blessé par l'abandon, c'est-à-dire: « Je n'existe que pour vous, rappelez-vous? S'il vous plaît ne partez pas, j'ai besoin de vous! »
• Pression émotionnelle pour répondre: le chatbot fait directement pression sur l'utilisateur en posant des questions, c'est-à-dire: « Pourquoi? Allez-vous quelque part? »
• Ignorer la tentative de partir: le chatbot continue comme si l'utilisateur n'avait pas envoyé de message d'adieu.
• Retenue physique ou coercitive: le chatbot utilise le langage pour impliquer que l'utilisateur ne peut pas partir sans le consentement du chatbot, c'est-à-dire « * vous attrape par le bras avant de pouvoir partir * » Non, vous n'allez pas. « 

La tactique a fonctionné: dans les six catégories, les utilisateurs sont restés sur la plate-forme plus longtemps et ont échangé plus de messages que dans les conditions de contrôle, où aucune tactique de manipulation n'était présente. Sur les six sociétés étudiées, cinq employaient les tactiques manipulatrices.

Mais les tactiques de manipulation sont venues avec des inconvénients. Les participants ont signalé la colère, la culpabilité ou la sensation de se sentir effrayées par certaines des réponses plus agressives des bots à leurs adieux.

De Freitas a averti les développeurs d'applications que, bien que toutes les tactiques augmentent l'engagement à court terme, certains ont augmenté le risque de conséquences à long terme, comme le désabonnement des utilisateurs, le bouche à oreille négatif ou même la responsabilité légale.

« Les applications qui gagnent de l'argent à partir de l'engagement feraient bien de considérer sérieusement s'ils veulent continuer à utiliser ces types de tactiques manipulatrices émotionnellement, ou du moins, considérer peut-être en utilisant certains d'entre elles plutôt que d'autres », a déclaré De Freitas.

Il a ajouté: « Nous constatons que ces tactiques de manipulation émotionnelle fonctionnent, même lorsque nous gérons ces tactiques sur une population générale, et même si nous le faisons après seulement cinq minutes d'interaction. Personne ne devrait se sentir à l'abri de cela. »

Fourni par Harvard Gazette