Les utilisateurs remettent en question la capacité de l’IA à modérer le harcèlement en ligne

Les recherches de la New Cornell University révèlent que le type de modérateur – humain ou IA – et la «température» du contenu harcelant en ligne influencent la perception que les gens ont de la décision de modération et du système de modération.

Maintenant publié dans Mégadonnées et société, l’étude a utilisé un site de médias sociaux personnalisé, sur lequel les gens peuvent publier des photos de nourriture et commenter d’autres publications. Le site contient un moteur de simulation, Truman, une plate-forme open source qui imite les comportements des autres utilisateurs (j’aime, commentaires, messages) grâce à des robots préprogrammés créés et organisés par des chercheurs.

La plate-forme Truman – du nom du film de 1998 « The Truman Show » – a été développée au Cornell Social Media Lab dirigé par Natalie Bazarova, professeur de communication.

« La plate-forme Truman permet aux chercheurs de créer une expérience de médias sociaux contrôlée mais réaliste pour les participants, avec une polyvalence sociale et de conception pour examiner une variété de questions de recherche sur les comportements humains dans les médias sociaux », a déclaré Bazarova. « Truman a été un outil incroyablement utile, à la fois pour mon groupe et pour d’autres chercheurs, pour développer, mettre en œuvre et tester des conceptions et des interventions dynamiques, tout en permettant la collecte et l’observation des comportements des personnes sur le site. »

Pour l’étude, près de 400 participants ont été informés qu’ils testeraient en bêta une nouvelle plateforme de médias sociaux. Ils ont été assignés au hasard à l’une des six conditions d’expérimentation, variant à la fois le type de système de modération de contenu (autres utilisateurs ; IA ; aucune source identifiée) et le type de commentaire de harcèlement qu’ils ont vu (ambigu ou clair).

Les participants ont été invités à se connecter au moins deux fois par jour pendant deux jours ; ils ont été exposés à un commentaire de harcèlement, ambigu ou clair, entre deux utilisateurs différents (bots) qui a été modéré par un humain, une IA ou une source inconnue.

Les chercheurs ont constaté que les utilisateurs sont généralement plus susceptibles de questionner les modérateurs de l’IA, en particulier sur la confiance qu’ils peuvent accorder à leur décision de modération et à la responsabilité du système de modération, mais uniquement lorsque le contenu est intrinsèquement ambigu. Pour un commentaire de harcèlement plus clair, la confiance dans l’IA, humaine ou une source inconnue de modération était à peu près la même.

« Il est intéressant de voir que toute sorte d’ambiguïté contextuelle refait surface des biais inhérents concernant les erreurs potentielles de la machine », a déclaré Marie Ozanne, première auteure de l’étude et professeure adjointe de gestion des aliments et des boissons.

Ozanne a déclaré que la confiance dans la décision de modération et la perception de la responsabilité du système – c’est-à-dire si le système est perçu comme agissant dans le meilleur intérêt de tous les utilisateurs – sont à la fois des jugements subjectifs, et « quand il y a un doute, une IA semble être remise en question plus que un humain ou une source de modération inconnue. »

Les chercheurs suggèrent que les travaux futurs devraient examiner comment les utilisateurs des médias sociaux réagiraient s’ils voyaient des humains et des modérateurs de l’IA travailler ensemble, avec des machines capables de gérer de grandes quantités de données et des humains capables d’analyser les commentaires et de détecter les subtilités du langage.

« Même si l’IA pouvait efficacement modérer le contenu », ont-ils écrit, « il y a un [need for] modérateurs humains, car les règles de la communauté changent constamment et les contextes culturels diffèrent. »