Les espaces en ligne regorgent de toxicité. Des outils d’IA bien conçus peuvent aider à les nettoyer

Imaginez-vous en train de parcourir les réseaux sociaux ou de jouer à un jeu en ligne, pour être interrompu par des commentaires insultants et harcelants. Et si un outil d’intelligence artificielle (IA) intervenait pour supprimer les abus avant même que vous ne les voyiez ?

Ce n'est pas de la science-fiction. Des outils commerciaux d’IA comme ToxMod et Bodyguard.ai sont déjà utilisés pour surveiller les interactions en temps réel sur les réseaux sociaux et les plateformes de jeux. Ils peuvent détecter et réagir à un comportement toxique.

L’idée d’une IA qui surveille chacun de nos mouvements peut sembler orwellienne, mais ces outils pourraient être essentiels pour faire d’Internet un endroit plus sûr.

Cependant, pour que la modération de l’IA réussisse, elle doit donner la priorité à des valeurs telles que la confidentialité, la transparence, l’explicabilité et l’équité. Pouvons-nous donc garantir que l’on peut faire confiance à l’IA pour améliorer nos espaces en ligne ? Nos deux récents projets de recherche sur la modération basée sur l’IA montrent que cela est possible, avec encore du travail à faire.

La négativité prospère en ligne

La toxicité en ligne est un problème croissant. Près de la moitié des jeunes Australiens ont été confrontés à une forme d’interaction négative en ligne, et près d’un sur cinq a été victime de cyberintimidation.

Qu’il s’agisse d’un simple commentaire offensant ou d’une série de harcèlements soutenus, de telles interactions nuisibles font partie du quotidien de nombreux internautes.

La gravité de la toxicité en ligne est l’une des raisons pour lesquelles le gouvernement australien a proposé d’interdire les réseaux sociaux aux enfants de moins de 14 ans.

Mais cette approche ne parvient pas à résoudre pleinement un problème sous-jacent fondamental : la conception des plateformes en ligne et des outils de modération. Nous devons repenser la façon dont les plateformes en ligne sont conçues pour minimiser les interactions nuisibles pour tous les utilisateurs, et pas seulement pour les enfants.

Malheureusement, de nombreux géants de la technologie ayant un pouvoir sur nos activités en ligne ont mis du temps à assumer davantage de responsabilités, laissant des lacunes importantes en matière de modération et de mesures de sécurité.

C’est là que la modération proactive de l’IA offre la possibilité de créer des espaces en ligne plus sûrs et plus respectueux. Mais l’IA peut-elle vraiment tenir cette promesse ? Voici ce que nous avons trouvé.

« Havoc » dans les jeux multijoueurs en ligne

Dans notre projet GAIM (Games and Artificial Intelligence Moderation), nous avons cherché à comprendre les opportunités et les pièges éthiques de la modération basée sur l’IA dans les jeux multijoueurs en ligne. Nous avons mené 26 entretiens approfondis avec des acteurs et des professionnels du secteur pour découvrir comment ils utilisent et pensent l'IA dans ces espaces.

Les personnes interrogées considèrent l'IA comme un outil nécessaire pour rendre les jeux plus sûrs et lutter contre les « ravages » causés par la toxicité. Avec des millions de joueurs, les modérateurs humains ne peuvent pas tout saisir. Mais une IA infatigable et proactive peut détecter ce qui manque aux humains, contribuant ainsi à réduire le stress et l’épuisement professionnel associés à la modération des messages toxiques.

Mais de nombreux joueurs ont également exprimé leur confusion quant à l’utilisation de la modération par l’IA. Ils ne comprenaient pas pourquoi ils avaient été suspendus de compte, bannis et autres sanctions, et étaient souvent frustrés de voir que leurs propres rapports sur des comportements toxiques semblaient perdus dans le vide, sans réponse.

Les participants étaient particulièrement préoccupés par la confidentialité dans les situations où l’IA est utilisée pour modérer le chat vocal dans les jeux. Un joueur s'est exclamé : « mon dieu, est-ce même légal ? C'est le cas et cela se produit déjà dans des jeux en ligne populaires tels que Call of Duty.

Notre étude a révélé qu'il existe un énorme potentiel positif pour la modération de l'IA. Cependant, les sociétés de jeux et de médias sociaux devront faire beaucoup plus de travail pour rendre ces systèmes transparents, responsabilisants et dignes de confiance.

À l’heure actuelle, la modération par l’IA semble fonctionner un peu comme un policier dans un système judiciaire opaque. Et si l’IA prenait plutôt la forme d’un enseignant, d’un tuteur ou d’un défenseur – éduquant, responsabilisant ou soutenant les utilisateurs ?

Entrez AI Ally

C'est là qu'intervient notre deuxième projet AI Ally, une initiative financée par le commissaire à la sécurité électronique. En réponse aux taux élevés de violence sexiste liée à la technologie en Australie, nous co-concevons un outil d'IA pour aider les filles, les femmes et les personnes de divers genres à naviguer dans des espaces en ligne plus sûrs.

Nous avons interrogé 230 personnes de ces groupes et avons constaté que 44 % de nos répondants étaient « souvent » ou « toujours » victimes de harcèlement sexiste sur au moins une plateforme de médias sociaux. Cela se produisait le plus souvent en réponse à des activités quotidiennes en ligne, comme la publication de photos d'elles-mêmes, notamment sous la forme de commentaires sexistes.

Il est intéressant de noter que nos personnes interrogées ont indiqué que documenter les cas d'abus en ligne était particulièrement utile lorsqu'elles souhaitaient soutenir d'autres cibles de harcèlement, par exemple en collectant des captures d'écran de commentaires abusifs. Mais seules quelques personnes interrogées l’ont fait dans la pratique. Naturellement, beaucoup craignaient également pour leur propre sécurité s’ils intervenaient en défendant quelqu’un ou même en s’exprimant dans un fil de commentaires publics.

Ce sont des constats inquiétants. En réponse, nous concevons notre outil d'IA comme un tableau de bord facultatif qui détecte et documente les commentaires toxiques. Pour nous guider dans le processus de conception, nous avons créé un ensemble de « personas » qui capturent certains de nos utilisateurs cibles, inspirés par les répondants à notre enquête.

Nous permettons aux utilisateurs de prendre leurs propres décisions quant à savoir s'ils souhaitent filtrer, signaler, bloquer ou signaler le harcèlement de manière efficace, en fonction de leurs propres préférences et de leur sécurité personnelle.

De cette manière, nous espérons utiliser l’IA pour offrir aux jeunes un soutien facile d’accès dans la gestion de la sécurité en ligne tout en leur offrant autonomie et sentiment d’autonomisation.

Nous pouvons tous jouer un rôle

AI Ally montre que nous pouvons utiliser l'IA pour contribuer à rendre les espaces en ligne plus sûrs sans avoir à sacrifier des valeurs telles que la transparence et le contrôle des utilisateurs. Mais il reste encore beaucoup à faire.

D'autres initiatives similaires incluent Harassment Manager, conçu pour identifier et documenter les abus sur Twitter (maintenant X), et HeartMob, une communauté où les cibles de harcèlement en ligne peuvent demander de l'aide.

Jusqu’à ce que des pratiques éthiques en matière d’IA soient plus largement adoptées, les utilisateurs doivent rester informés. Avant de rejoindre une plateforme, vérifiez si elle est transparente sur ses politiques et offre aux utilisateurs un contrôle sur les paramètres de modération.

Internet nous connecte aux ressources, au travail, aux jeux et à la communauté. Chacun a le droit d’accéder à ces avantages sans harcèlement ni abus. C'est à nous tous d'être proactifs et de plaider en faveur d'une technologie plus intelligente et plus éthique qui protège nos valeurs. et nos espaces numériques.

L'équipe d'AI Ally est composée du Dr Mahli-Ann Butt, du Dr Lucy Sparrow, du Dr Eduardo Oliveira, de Ren Galwey, de Dahlia Jovic, de Sable Wang-Wills, de Yige Song et de Maddy Weeks.