Les grands modèles linguistiques peuvent-ils remplacer les participants humains dans certaines études de marché futures ?
Les chercheurs en marketing doivent-ils encore mener des recherches originales en faisant appel à des participants humains dans leurs travaux ? Pas toujours, selon une nouvelle étude. L'étude a révélé que grâce à la sophistication croissante des grands modèles de langage (LLM), les participants humains peuvent être remplacés par des LLM tout en générant des résultats similaires à ceux générés par les enquêtes humaines.
L'étude est publiée dans Sciences du marketing. L'article, « Détermination de la validité des grands modèles linguistiques pour l'analyse perceptuelle automatisée », est rédigé par Peiyao Li et Zsolt Katona, tous deux de l'Université de Californie à Berkeley ; Noah Castelo de l'Université de l'Alberta et Miklos Sarvary de l'Université Columbia.
Selon l'étude, les taux de concordance entre les ensembles de données générés par l'homme et ceux générés par LLM ont atteint 75 à 85 %.
« Les LLM peuvent être utilisés pour générer du texte lorsqu'ils y sont invités sur certaines plates-formes d'intelligence artificielle (IA) génératives », explique Li. « Notre recherche s'est concentrée sur l'analyse perceptuelle et l'utilisation d'études de marché automatisées pour certaines catégories de produits. »
Pour mener leurs recherches, les auteurs de l’étude ont utilisé des LLM pour exploiter des données largement disponibles sur Internet. Ils ont développé une nouvelle méthodologie et un nouveau flux de travail qui permettent aux chercheurs de marché de s'appuyer uniquement sur un LLM pour mener des études de marché. En conséquence, ils ont démontré que les études de marché basées sur le LLM peuvent produire des résultats significatifs et même reproduire des résultats humains.
« Il est important de noter qu'avec les LLM, même si les chercheurs en marché n'exigent pas d'entretiens avec des sujets de recherche humains, les données ultimes proviennent d'êtres humains, en utilisant les données disponibles », explique Katona. « Les LLM ont été conçus pour reproduire avec précision les réponses humaines sur la base de l'apprentissage automatique des perceptions, attitudes et préférences humaines réelles. »
Castelo a ajouté : « Le LLM de base prend une invite en entrée et génère une suite de texte en sortie. Avec une invite appropriée, le LLM peut ensuite générer des comparaisons et des évaluations de diverses marques ou produits dans une catégorie donnée et produire des résultats qui sont, à pour le moment, 75 à 85 % sont d'accord avec les recherches impliquant des participants humains.
Les chercheurs estiment que pour certaines catégories de produits et de marques, leur nouvelle méthode d’automatisation totale ou partielle des études de marché augmentera l’efficacité des études de marché en accélérant le processus et en réduisant potentiellement les coûts. Dans le même temps, ils préviennent que les études de marché entièrement automatisées, sans intervention humaine, pourraient ne pas être précises pour toutes les catégories de produits.
« Bien que nous soyons très enthousiasmés par les possibilités que nous avons vues grâce à nos recherches, nous reconnaissons que ce n'est qu'un début et qu'à l'avenir, les études de marché basées sur le LLM seront en mesure de répondre à des questions plus nuancées à mesure que le domaine des études de marché commence à exploiter et développer son potentiel », affirme Sarvary.
