L’IA générative peut-elle remplacer les humains dans des études de recherche qualitative?

Le fait que les humains participent à une étude peuvent être longs et coûteux pour les chercheurs qui étendent les budgets limités sur des délais stricts. Des modèles sophistiqués et génératifs de grande langue (LLM) peuvent effectuer de nombreuses tâches, de sorte que certains chercheurs et entreprises ont exploré l’idée de les utiliser dans des études au lieu des participants humains.

Des chercheurs de l’École d’informatique de l’Université Carnegie Mellon ont identifié des limitations fondamentales à l’utilisation des LLM dans la recherche qualitative axée sur la perspective d’un humain, y compris la façon dont les informations sont recueillies et agrégées et les problèmes liés au consentement et à la collecte de données.

« Nous avons examiné cette question de savoir si les agents basés sur la LLM peuvent remplacer la participation humaine à la recherche qualitative, et la réponse de haut niveau était non », a déclaré Hoda Heidari, professeur adjoint de développement de carrière K&L dans le département des systèmes de carrière (S3D) et du département d’apprentissage des machines de CMU et de S3D).

« Il y a toutes sortes de nuances que les participants humains contribuent que vous ne pouvez pas retirer des agents basés sur LLM, quelle que soit la qualité de la technologie. »

L’article de l’équipe, «Simulacrum of Stories: Examiner les modèles de grandes langues en tant que participants à la recherche qualitative», a reçu un prix de mention honorable à l’Association for Computing Machinery Conference on Human Facteurs in Computing Systems (CHI 2025) la semaine dernière à Yokohama, au Japon.

Les membres de l’équipe de SCS comprenaient Heidari; Shivani Kapania, doctorante à l’Institut d’interaction Human-Computer (HCII); William Agnew, boursier postdoctoral Carnegie Bosch dans le HCII; Motahhare Eslami, professeur adjoint au HCII et au S3D; et Sarah Fox, professeur adjoint au HCII.

Le papier est disponible dans le Actes de la Conférence du CHI 2025 sur les facteurs humains dans les systèmes informatiques.

Les LLM sont utilisées comme outils de formation dans une variété de champs. Dans les professions médicales et juridiques, ces outils permettent aux professionnels de simuler et de pratiquer des scénarios réels, comme une formation thérapeute pour identifier les crises en santé mentale. Dans la recherche qualitative, qui est souvent basée sur des entretiens, les LLM sont formées pour imiter le comportement humain dans leurs réponses aux questions et aux invites.

Dans l’étude, l’équipe de la CMU a interviewé 19 humains avec une expérience de la recherche qualitative. Les participants ont interagi avec un outil de style chatbot LLM, tapant des messages dans les deux sens. L’outil a permis aux chercheurs de comparer les données générées par la LLM avec des données générées par l’homme et de réfléchir aux préoccupations éthiques.

Les chercheurs ont identifié plusieurs façons d’utiliser les LLM comme participants à l’étude ont introduit des limitations à l’enquête scientifique, y compris la méthode du modèle de collecte et d’interprétation des connaissances. Les participants à l’étude ont noté que l’outil LLM avait souvent compilé ses réponses à partir de plusieurs sources et les ajustés – parfois de manière anormale – en une seule réponse.

Par exemple, dans une étude sur les conditions de travail en usine, un travailleur sur le sol et un gestionnaire aurait probablement des réponses différentes sur une variété d’aspects du travail et du lieu de travail. Pourtant, un participant LLM générant des réponses pourrait combiner ces deux perspectives en une seule réponse – refusant les attitudes d’une manière qui ne reflète pas la réalité.

Une autre façon dont le répondeur LLM a introduit des problèmes dans le processus d’enquête scientifique était sous la forme d’un consentement. Dans le document, les chercheurs notent que les LLM formées sur les données accessibles au public à partir d’une plate-forme de médias sociaux pourraient soulever des questions sur le consentement éclairé et si les personnes dont les données sont formées ont la possibilité de se retirer.

Dans l’ensemble, l’étude soulève des doutes sur l’utilisation des LLM comme participants à l’étude, notant des préoccupations éthiques et des questions sur la validité de ces outils.

« Ces modèles sont codés avec les biais, les hypothèses et la dynamique du pouvoir des producteurs de modèles et les données et les contextes à partir desquels ils sont dérivés », ont écrit les chercheurs. « En tant que tel, leur utilisation dans la recherche remodeler la nature des connaissances produites, souvent de manière à renforcer les hiérarchies et exclusions existantes. »