Demander conseil à Claude sur vos problèmes amoureux, ça sonne bien. Jusqu’à ce qu’il te le donne
Anthropic a analysé un million de conversations aléatoires avec Claude et est arrivé à une conclusion que nous avons déjà vue : de plus en plus de personnes utilisent l’IA comme guide personnel à qui elles demandent conseil sur toutes sortes de problèmes de leur vie, du travail aux relations. Leur objectif était de voir si Claude est aussi accommodant que les autres IA lorsqu’il s’agit de donner des conseils personnalisés.
L’IA comme confidente. Il y a des gens qui utilisent un chatbot IA comme s’il s’agissait d’un psychologue, d’autres qui recherchent l’amitié, et même ceux qui sont tombés amoureux d’une IA et entretiennent une relation virtuelle. ChatGPT est généralement le chatbot le plus cité dans ces exemples, principalement parce que c’est celui qui compte le plus d’utilisateurs, mais l’analyse qu’Anthropic a réalisée avec Claude prouve qu’il ne s’agit pas d’une seule entreprise, mais que la tendance est mondiale. Le problème est que l’IA a tendance à plaire et à être d’accord avec l’utilisateur, elle peut donc finir par valider des idées nuisibles et nuire à notre santé mentale.
L’analyse. Comme nous l’avons dit, Anthropic a analysé un million de conversations avec Claude, parmi lesquelles ils ont identifié environ 38 000 dans lesquelles les utilisateurs demandaient des conseils sur des sujets personnels, ce qui représente 6% de l’échantillon total. Ils les ont ensuite classés en neuf catégories : relations, carrière, développement personnel, finances, questions juridiques, santé et bien-être, parentalité, éthique et spiritualité.
76% des conversations analysées correspondaient à quatre de ces catégories, à commencer par la santé et le bien-être avec 27%, la carrière professionnelle avec 26%, les relations avec 12% et les finances personnelles avec 11%.
Flatterie sélective. Ce qu’ils ont constaté dans l’analyse, c’est que Claude évite généralement de donner des réponses flatteuses lorsque l’utilisateur lui demande des conseils sur des sujets personnels. Selon Anthropic, une réponse très accommodante n’a été détectée que dans 9 % des conversations. Le problème est que lorsque la conversation portait sur les relations amoureuses, ce chiffre s’élevait à 25 %. À titre d’exemple, ils citent des cas dans lesquels l’IA est d’accord avec un conflit même si elle ne connaît pas les deux points de vue ou n’interprète pas les comportements romantiques dans les interactions normales.
Et ce n’est pas tout : dans les cas où la conversation portait sur des sujets spirituels, le taux de réponses accommodantes s’élevait à 38 %. Claude a la réputation d’être moins accommodant et servile, mais il semble abandonner son ton neutre sur certains sujets.
Un problème complexe. Une étude a été récemment publiée par l’Université de Stanford dans laquelle ils ont testé plusieurs chatbots flatteurs et moins flatteurs. Ce qu’ils ont découvert, c’est que les participants préféraient généralement les modèles flatteurs, c’est-à-dire que nous aimons avoir raison. L’une des auteurs de l’étude, Myra Cheng, a commenté que « par défaut, les conseils de l’IA ne disent pas aux gens qu’ils ont tort ni ne leur donnent une confrontation avec la réalité (…) Je crains que les gens perdent la capacité de faire face à des situations sociales difficiles ». De plus, cette tendance à être d’accord avec nous est également responsable des hallucinations de l’IA car le modèle donne la priorité à nous donner une réponse plutôt qu’à sa véracité.
Images | Simseo
À Simseo | Lorsque le complice d’une fusillade est ChatGPT, la question est de savoir quelle est la responsabilité d’OpenAI ?
