Commentaire sur l’article sur le codage du discours de haine offre un regard nuancé sur les limites des systèmes d’IA

Les modèles de grands langues (LLM) sont des systèmes d’intelligence artificielle (IA) qui peuvent comprendre et générer un langage humain en analysant et en traitant de grandes quantités de texte. Dans un nouvel essai, un chercheur de l’Université Carnegie Mellon critique un article sur les LLM et fournit un aperçu nuancé des limites des modèles pour analyser le discours sensible, tels que le discours de haine. Le commentaire est publié dans le Journal des discours multiculturels.

« Les analystes du discours sont depuis longtemps intéressés à étudier comment le discours de haine légitime les déséquilibres et les aliments pour la polarisation », explique Emily Barrow DeJeu, professeur adjoint de communication en gestion d’entreprise à la Tepper School of Business de Carnegie Mellon, qui a écrit le commentaire. « Cela semble particulièrement pertinent aujourd’hui au milieu du populisme, du nativisme et des menaces pour la démocratie libérale. »

Le commentaire de DeJeu est sur un article publié dans le même numéro du Journal des discours multiculturels Intitulé « Modèles de grande langue et le défi d’analyser le discours discriminatoire: Synergie humaine-AI dans la recherche de discours de haine sur les réseaux sociaux », par Petre Breazu, Miriam Schirmer, Songbo Hu et Napoléon Katsos. L’article explore dans quelle mesure les LLM peuvent coder le discours de haine racialisé.

L’utilisation d’outils informatisés pour analyser le langage n’est pas nouveau. Depuis les années 1960, les chercheurs s’intéressent aux méthodes de calcul pour examiner les organes de travail. Mais certaines formes d’analyse qualitative ont historiquement été considérées comme strictement dans le cadre des analystes humains, dit DeJeu. Aujourd’hui, il y a un intérêt croissant à utiliser de nouveaux LLM pour analyser le discours.

Contrairement à d’autres outils analytiques, les LLM sont flexibles: ils peuvent effectuer une gamme de tâches analytiques sur une variété de types de texte. Bien que l’article de Breazu et al soit opportun et significatif, DeJeu dit qu’il présente également des défis parce que les LLM ont des garanties strictes pour les empêcher d’émettre un contenu offensant et nocif.

Alors que DeJeu félicite les auteurs pour avoir fait du codage axé sur l’humanité et LLM des commentaires YouTube faits sur des vidéos de migrants roms en Suède en train de demander de l’argent, elle identifie deux problèmes avec leur travail:

• Problèmes méthodologiques: DeJeu suggère que la conception méthodologique des auteurs semble entrer en conflit avec leur objectif d’explorer les synergies humaines. Au lieu de cela, il introduit un binaire humain versus-ai qui persiste tout au long de l’article, donc la pièce lit finalement moins comme une exploration des synergies humaines-ai et plus comme un acte d’accusation des capacités de Chatgpt à coder comme un chercheur expert.
• Une conclusion imparfaite: DeJeu dit que Breazu et les collègues à l’appel à la LLMS culturellement et politiquement informée va au-delà des bases de connaissances des LLMS en étendant; Les auteurs semblent vouloir un avenir dans lequel les LLM peuvent agir en tant qu’humains situés, apportant des perspectives politiquement et culturellement informées pour défendre leur analyse et leur raisonnement de ces points de vue aux interprétations de la réalité. Elle demande: « Est-il raisonnable de s’attendre à ce que les outils d’IA fassent cela, lorsque l’histoire humaine montre que la signification culturelle est construite, contestée et sujet à changer? »

DeJeu dit que l’article est utile pour considérer la façon dont la définition de la synergie est nouvelle lorsque vous travaillez avec des outils d’IA. Elle conclut son commentaire en abordant quels rôles LLMS devrait jouer dans l’analyse critique du discours. Les LLM devraient-ils être utilisés de manière itérative pour affiner la réflexion, les chercheurs devraient-ils essayer de les faire fonctionner comme des humains pour valider ou semi-automatisé des processus de ressources, ou devrait-il y avoir une combinaison des deux?

« Le domaine finira probablement par clarifier à quoi ressemble le codage humain-ai, mais pour l’instant, nous devons considérer avec soin ces questions, et les méthodes que nous utilisons devraient être conçues et informées par nos réponses », prévient DeJeu.