Une étude souligne les difficultés rencontrées pour détecter les discours violents visant les communautés asiatiques
Un groupe de recherche appelle les modérateurs d’Internet et des réseaux sociaux à renforcer leurs protocoles de détection et d’intervention en cas de discours violent.
Leur étude sur les logiciels de détection de langage a révélé que les algorithmes ont du mal à différencier les discours anti-asiatiques qui incitent à la violence des discours de haine en général. Si elles ne sont pas contrôlées, les menaces de violence en ligne peuvent passer inaperçues et se transformer en attaques dans le monde réel.
Des chercheurs de Georgia Tech et de l'Anti-Defamation League (ADL) ont collaboré pour mener cette étude. Ils ont fait leur découverte en testant des modèles de traitement du langage naturel (TLN) formés à partir de données collectées auprès de communautés asiatiques.
« La pandémie de COVID-19 a attiré l’attention sur le danger que peuvent représenter les discours incitant à la violence. On a constaté une nette augmentation des signalements de violences anti-asiatiques et de crimes haineux », a déclaré Gaurav Verma, doctorant à Georgia Tech qui a dirigé l’étude.
« Ce genre de discours est souvent amplifié sur les réseaux sociaux, ce qui alimente à son tour les sentiments et les attaques anti-asiatiques. »
Les discours incitant à la violence diffèrent des formes de discours nuisibles plus couramment étudiées, comme le discours de haine. Alors que le discours de haine dénigre ou insulte un groupe, le discours incitant à la violence encourage implicitement ou explicitement la violence contre les communautés ciblées.
Les humains peuvent définir et caractériser les discours violents comme un sous-ensemble des discours haineux. Cependant, les modèles informatiques ont du mal à faire la différence en raison des indices et des implications subtiles du langage.
Les chercheurs ont testé cinq classificateurs NLP différents et analysé leur score F1, qui mesure la performance d'un modèle. Les classificateurs ont rapporté un score de 0,89 pour la détection des discours de haine, tandis que la détection des discours incitant à la violence n'était que de 0,69. Ce contraste met en évidence l'écart notable entre ces outils et leur précision et leur fiabilité.
L’étude souligne l’importance de développer des méthodes plus précises pour détecter les discours incitant à la violence. La désinformation et les discours incendiaires sur Internet aggravent les tensions qui mènent à la violence dans le monde réel.
La pandémie de COVID-19 a illustré la manière dont les crises de santé publique intensifient ce comportement, ce qui a contribué à inspirer l’étude. Le groupe a indiqué que les crimes anti-asiatiques aux États-Unis ont augmenté de 339 % en 2021 en raison de contenus malveillants accusant les Asiatiques d’être à l’origine du virus.
Les chercheurs estiment que leurs résultats démontrent l’efficacité des approches centrées sur la communauté pour lutter contre les discours préjudiciables. Ces approches permettraient aux décideurs politiques, aux communautés ciblées et aux développeurs de plateformes en ligne de prendre des décisions éclairées.
En plus de modèles plus efficaces pour détecter les discours incitant à la violence, le groupe discute d’une solution directe : un système de sanctions à plusieurs niveaux sur les plateformes en ligne. Les systèmes à plusieurs niveaux alignent les sanctions sur la gravité des infractions, agissant à la fois comme moyen de dissuasion et d’intervention à différents niveaux de discours préjudiciables.
« Nous pensons que nous ne pouvons pas résoudre un problème qui affecte une communauté sans impliquer les personnes directement concernées », a déclaré Jiawei Zhou, un doctorant qui étudie l'informatique centrée sur l'humain à Georgia Tech.
« En collaborant avec des experts et des membres de la communauté, nous garantissons que nos recherches s'appuient sur les efforts de première ligne pour lutter contre les discours incitant à la violence tout en restant ancrées dans les expériences et les besoins réels de la communauté ciblée. »
Les chercheurs ont formé leurs classificateurs NLP testés sur un ensemble de données provenant d'une enquête menée auprès de 120 participants qui s'identifiaient comme membres de la communauté asiatique. Dans l'enquête, les participants ont étiqueté 1 000 messages de X (anciennement Twitter) comme contenant soit des propos incitant à la violence, soit des propos haineux, soit aucun des deux.
Étant donné que la caractérisation des discours incitant à la violence n’est pas universelle, les chercheurs ont créé un manuel de codes spécialisé pour les participants à l’enquête. Les participants ont étudié le manuel de codes avant l’enquête et ont utilisé une version abrégée pour l’étiquetage.
Pour créer le livre de codes, le groupe a utilisé un ensemble initial de mots-clés anti-asiatiques pour analyser les publications sur X de janvier 2020 à février 2023. Cette tactique a donné lieu à 420 000 publications contenant un langage nuisible et anti-asiatique.
Les chercheurs ont ensuite filtré le lot à l'aide de nouveaux mots-clés et expressions. Cela a permis d'affiner l'échantillon à 4 000 messages contenant potentiellement du contenu incitant à la violence. Des mots-clés et des expressions ont été ajoutés au livre de codes tandis que les messages filtrés ont été utilisés dans l'enquête d'étiquetage.
L'équipe a eu recours à des discussions et à des tests pilotes pour valider son livre de codes. Au cours des tests d'essai, les pilotes ont étiqueté 100 messages Twitter pour garantir la bonne conception de l'enquête auprès de la communauté asiatique. Le groupe a également envoyé le livre de codes à l'ADL pour examen et a intégré les commentaires de l'organisation.
« L'un des principaux défis dans l'étude des contenus provoquant la violence en ligne est la collecte efficace des données et leur acheminement, car la plupart des plateformes modèrent et suppriment activement les contenus ouvertement haineux et violents », a déclaré Rynaa Grover (MS CS 2024), ancienne élève de Tech.
« Pour faire face à la complexité de ces données, nous avons développé un pipeline innovant qui gère l'ampleur de ces données d'une manière qui tient compte de la communauté. »
L'accent mis sur la participation de la communauté s'est étendu à la collaboration au sein du College of Computing de Georgia Tech. Les professeurs Srijan Kumar et Munmun De Choudhury ont supervisé les recherches menées par leurs étudiants.
Kumar, professeur adjoint à l'École des sciences informatiques et de l'ingénierie, conseille Verma et Grover. Son expertise porte sur l'intelligence artificielle, l'exploration de données et la sécurité en ligne.
De Choudhury est professeur associé à l'École d'informatique interactive et conseille Zhou. Leurs recherches établissent un lien entre la santé mentale de la société et les interactions sur les réseaux sociaux.
Les chercheurs de Georgia Tech se sont associés à l'ADL, une organisation non gouvernementale de premier plan qui lutte contre la haine et l'extrémisme dans le monde réel. Les chercheurs de l'ADL Binny Mathew et Jordan Kraemer sont co-auteurs de l'étude.
Le groupe présentera son article lors de la 62e réunion annuelle de l'Association for Computational Linguistics (ACL 2024), qui se tiendra à Bangkok, en Thaïlande, du 11 au 16 août.
L'ACL 2024 a accepté 40 articles rédigés par des chercheurs de Georgia Tech. Sur les 12 professeurs de Georgia Tech qui ont rédigé des articles acceptés lors de la conférence, neuf sont issus du College of Computing, dont Kumar et De Choudhury.
« C’est formidable de voir que les pairs et la communauté de recherche reconnaissent l’importance d’un travail centré sur la communauté qui fournit des informations fondées sur les capacités des principaux modèles linguistiques », a déclaré Verma.
« Nous espérons que la plateforme encouragera davantage de travaux présentant des perspectives centrées sur la communauté sur d’importants problèmes sociétaux. »
