Les grands modèles linguistiques sont biaisés, mais peuvent néanmoins aider à analyser des données complexes
Dans une étude pilote, publiée sur le arXiv Grâce à un serveur de préimpression, des chercheurs ont découvert des preuves montrant que les grands modèles linguistiques (LLM) ont la capacité d'analyser des sujets controversés tels que le scandale australien Robodebt de manière similaire aux humains, et présentent parfois des biais similaires.
L'étude a révélé que les agents LLM (GPT-4 et Llama 2) pourraient être incités à aligner leurs résultats de codage sur les tâches humaines, grâce à des instructions réfléchies : « Soyez sceptique ! » ou « Soyez parcimonieux ! » Dans le même temps, les LLM peuvent également aider à identifier les oublis et les angles morts analytiques potentiels pour les chercheurs humains.
Les LLM sont des outils d'analyse prometteurs. Ils peuvent accroître les capacités philosophiques, cognitives et de raisonnement des humains et favoriser la « création de sens » (donner un sens à un environnement ou à un sujet complexe) en analysant de grands volumes de données avec une sensibilité au contexte et aux nuances absente des systèmes de traitement de texte antérieurs.
La recherche a été dirigée par le Dr Awais Hameed Khan du nœud de l'Université du Queensland du Centre d'excellence ARC pour la prise de décision automatisée et la société (ADM+S).
« Nous soutenons que les LLM devraient être utilisés pour assister – et non remplacer – l’interprétation humaine.
« Notre recherche fournit un modèle méthodologique sur la manière dont les humains peuvent exploiter la puissance des LLM en tant qu'outils analytiques itératifs et dialogiques pour soutenir la réflexivité dans l'analyse thématique assistée par les LLM. Nous apportons de nouvelles perspectives à la recherche existante sur l'utilisation de l'automatisation dans les méthodes de recherche qualitative », a déclaré le Dr Khan.
« Nous présentons également une nouvelle boîte à outils de conception : les cartes AI Sub Zero Bias, pour que les chercheurs et les praticiens puissent interroger et explorer davantage les LLM en tant qu'outils d'analyse. »
Les cartes AI Sub Zero Bias aident les utilisateurs à structurer les messages et à interroger les biais dans les résultats des outils d'IA génératifs tels que les modèles de langage volumineux. La boîte à outils comprend 58 cartes réparties dans des catégories relatives à la structure, aux conséquences et aux résultats.
S’appuyant sur les principes de créativité, ces provocations explorent comment le reformatage et le recadrage des résultats générés en structures alternatives peuvent faciliter la pensée réflexive.
Cette recherche a été menée par les chercheurs du Centre d'excellence pour la prise de décision automatisée et la société (ADM+S) de l'ARC, le Dr Awais Hameed Khan, Hiruni Kegalle, Rhea D'Silva, Ned Watt, Daniel Whelan-Shamy, sous la direction du Dr Lida Ghahremanlou, Microsoft Research, et du professeur associé Liam Magee, du nœud ADM+S de l'Université Western Sydney.
Ce groupe de recherche a débuté sa collaboration lors du Hackathon ADM+S 2023 où ils ont développé le projet gagnant Sub-Zero. Une expérience d'analyse thématique comparative du discours sur la dette robotisée utilisant des humains et des LLM.
Le professeur associé Liam Magee encadre le groupe depuis leur première rencontre au Hackathon.
« Le hackathon ADM+S a joué un rôle déterminant en réunissant ces chercheurs de plusieurs disciplines et universités », a déclaré le professeur associé Magee.
« Cette recherche a été une contribution formidable du groupe, et je tiens à souligner à la fois les efforts de l'équipe et le soutien logistique de Sally Storey et d'ADM+S pour rendre cela possible. »
Fourni par le Centre d'excellence ARC pour la prise de décision automatisée et la société
