Lorsque l’IA est l’éditeur, les plaintes des consommateurs sont plus susceptibles de réussir
Les consommateurs qui souhaitent soumettre une plainte à une agence telle que le Bureau de protection financière des consommateurs sont confrontés à une tâche qui, pour certains, peut être intimidante: ils doivent remplir un formulaire qui les oblige à expliquer le problème, clairement et de manière convaincante, selon leurs propres mots. Ceux qui ne sont pas des anglophones natifs ou qui ne communiquent pas régulièrement par écrit peuvent manquer des compétences nécessaires pour faire leurs cas de manière convaincante.
De nouvelles recherches de Jiwoong Shin de Yale Som révèlent que la récente vague de modèles de grandes langues grand public comme Chatgpt peut offrir une solution inattendue à ce problème.
Shin et ses co-auteurs, Minkyu Shin de l’Université de la ville de Hong Kong et Jin Kim de la Northeastern University, ont effectué une analyse des données du Consumer Financial Protection Bureau (CFPB). Ils ont identifié une augmentation des plaintes de l’AI-édité contre les sociétés financières à la suite de la publication de Chatgpt en novembre 2022.
Cette tendance a été particulièrement prononcée dans des endroits où de nombreux résidents ont une compétence en anglais limitée. Et l’assistance de l’IA semble avoir aidé à utiliser les chercheurs, les chercheurs ont été associés à une augmentation de la probabilité de recevoir des secours des entreprises, qu’elles soient monétaires ou non monétaires.
Shin et ses co-auteurs ont complété leur analyse des données CFPB avec plusieurs expériences qui explorent davantage la relation entre l’utilisation de la LLM et la résolution des plaintes. Ces études montrent que les LLM aident les consommateurs à élaborer des plaintes plus claires et plus convaincantes, ce qui entraîne de meilleures chances de recevoir des secours.
Ensemble, l’analyse des données CFPB et des expériences suggèrent que « les LLM créent un terrain de jeu niveau pour tout le monde », explique Shin. « En utilisant les LLM, les personnes ayant une compétence en anglais limitée peuvent exprimer efficacement leurs préoccupations ou leurs plaintes, et les entreprises peuvent décider de traiter les plaintes en fonction du contenu, pas seulement de la présentation. »
Les chercheurs ont commencé avec un ensemble de plus d’un million de plaintes contre des sociétés de services financiers soumises au CFPB entre mars 2015 et mars 2024. En vertu des règles de l’agence à l’époque, les entreprises devaient répondre à ces plaintes en disant de l’allégement, qu’ils soient monétaires ou non monétaires, ou une explication sur les raisons pour lesquelles se redressement n’était pas garanti. (En mars 2025, la plupart des opérations du CFPB ont été interrompues.)
Cet ensemble de données était particulièrement précieux car les consommateurs doivent soumettre des récits détaillés sur leurs plaintes et leurs informations précises sur eux-mêmes, y compris leurs emplacements géographiques. Contrairement, disons, un examen négatif sur un site comme Yelp, une plainte auprès d’une agence gouvernementale telle que CFPB « a une implication légale potentielle », dit Shin, « donc il y a beaucoup moins de préoccupation concernant les fausses plaintes ».
Les chercheurs ont utilisé un outil de détection d’IA commercial pour analyser le texte de ces plaintes. L’outil a fourni des scores de 0 à 100 qui représentaient la probabilité que la plainte ait été écrite avec l’aide de l’IA; Les chercheurs ont codé les plaintes en tant qu’écrites par l’IA que si ce score était de 99 ou plus. Même en utilisant cette approche conservatrice, ils ont observé un saut soudain dans les plaintes assistées par l’IA après l’introduction de Chatgpt – de l’essentiel à 9,8% d’ici mars 2024, « ce qui est tout à fait remarquable », dit Shin.
Les chercheurs ont ensuite examiné les codes postaux d’où les plaintes étaient originaires. Une part disproportionnée des plaintes assistées par l’IA, a-t-elles constatées, proviennent de zones où une proportion plus élevée de résidents a une compétence en anglais limitée. En d’autres termes, il semblait probable que les consommateurs qui ne parlaient pas l’anglais se sont transformés confortablement vers Chatgpt pour les aider à rédiger leurs plaintes.
Shin et ses co-auteurs ont également comparé les plaintes assistées par l’IA à ceux que le système de détection d’IA avait marqué comme probablement l’auteur de l’homme. Les plaintes assistées par l’IA avaient une probabilité de 49,3% d’obtenir un secours, contre 39,9% pour les plaintes de l’homme.
L’utilisation de l’IA peut être corrélée à une probabilité plus élevée d’obtenir un soulagement, mais a-t-elle provoqué l’amélioration des résultats? Pour se rapprocher de la réponse à cette question, les chercheurs ont utilisé un type d’analyse statistique appelée estimation des variables instrumentales.
Ils ont examiné deux facteurs qui devraient logiquement être corrélés à une utilisation accrue de l’IA après l’introduction de Chatgpt mais ne devraient pas autrement affecter le résultat des plaintes: l’accès à Internet et la compétence en anglais, tous deux mesurés au niveau du code postal. (Ils contrôlaient des facteurs, notamment le revenu, le niveau d’éducation et le statut d’emploi.)
Cette analyse a révélé que, en effet, les plaintes de zones avec moins de locuteurs anglophones compétents et des zones avec des niveaux plus élevés d’accès à Internet ont eu de meilleurs résultats après la publication de chatgpt.
Cependant, même avec l’aide de l’estimation des variables instrumentales, les chercheurs ne pouvaient pas dire avec certitude pourquoi les plaintes assistées par l’IA ont reçu de meilleurs résultats. Ils soupçonnaient que c’était parce que l’IA a permis une présentation plus efficace des préoccupations des consommateurs, mais il était possible qu’un autre facteur soit à l’œuvre – par exemple, peut-être que les personnes qui ont pris le temps de affiner leur plainte avec Chatgpt avaient simplement des cas plus forts de soulagement.
Pour démêler la relation entre le contenu et la présentation, les chercheurs ont organisé une expérience dans laquelle les participants en ligne ont examiné les plaintes qui étaient identiques dans le contenu mais qui différaient si elles étaient non éditées ou éditées par Chatgpt pour améliorer la clarté, la cohérence ou le professionnalisme.
Les participants – s’imaginant en tant que partie chargés de traiter les plaintes – de 1 à sept, quelle est la probabilité qu’ils seraient de fournir une réparation monétaire en réponse à chaque plainte. Les participants, selon les chercheurs, étaient beaucoup plus susceptibles de soulager les plaintes de l’AI.
Les chercheurs ont répété la même expérience avec les participants qui avaient auparavant travaillé dans le secteur financier. Cette fois, en plus d’évaluer la probabilité de fournir des secours monétaires, les participants ont également obtenu les plaintes sur la clarté et le professionnalisme. Et comme prévu, les plaintes éditées par l’IA ont été jugées plus claires et plus professionnelles – et étaient plus susceptibles de recevoir un soulagement.
Pour Shin, les résultats de la deuxième expérience ont été particulièrement frappants. En entrant dans l’étude, il a pensé qu’il était possible que les professionnels financiers « puissent être un peu plus sophistiqués » et donc capables d’identifier les plaintes méritoires, quel que soit le style de présentation. Cependant, même parmi les personnes ayant plus d’expérience, le contenu édité par l’IA surclasse toujours un contenu non édité, ce qui suggère que la façon dont une plainte est articulée affecte de manière significative son résultat.
À l’avenir, Shin espère comprendre comment les organisations pourraient réagir à une augmentation des plaintes de l’AI-éditées. « Il semble qu’ils profitent aux gens qui utilisent des LLM – est-ce juste? » Demande Shin.
Peut-être, suggère-t-il, les entreprises devraient intégrer des outils d’IA dans les formulaires par lesquels les consommateurs soumettent des plaintes, égalisant l’accès. Une autre réponse pourrait être de former le personnel à séparer le contenu et la présentation lors de l’argument des plaintes des consommateurs.
Au milieu d’une mer de préoccupations concernant la façon dont les LLM pourraient changer notre société pire, Shin considère l’étude comme identifiant un avantage précieux: « Ils augmentent le bien-être pour toute la société, car personne n’est désavantagé simplement à cause de leurs compétences en communication. »
