La toxicité en ligne ne peut être combattue que par la collaboration des humains et des machines, affirment les chercheurs
Parcourir la quantité stupéfiante de contenu de médias sociaux produit chaque seconde pour trouver les éléments les plus désagréables n’est pas une tâche pour les seuls humains.
Même avec les outils d'apprentissage en profondeur les plus récents à leur disposition, les employés qui identifient et examinent les publications problématiques peuvent être dépassés et souvent traumatisés par ce qu'ils rencontrent quotidiennement. Les annotateurs travaillant à la demande qui analysent et étiquetent les données pour aider à améliorer l'apprentissage automatique peuvent être payés quelques centimes par unité travaillée.
Dans un article dirigé par Concordia et publié dans Magazine IEEE Technologie et Sociétéles chercheurs soutiennent que soutenir ces travailleurs humains est essentiel et nécessite une réévaluation constante des techniques et des outils qu'ils utilisent pour identifier les contenus toxiques.
Les auteurs examinent les approches sociales, politiques et techniques de détection automatique de la toxicité et considèrent leurs lacunes tout en proposant des solutions potentielles.
« Nous voulons savoir dans quelle mesure les techniques de modération actuelles, qui impliquent à la fois l'apprentissage automatique et les annotateurs humains de langage toxique, fonctionnent », déclare Ketra Schmitt, l'un des co-auteurs de l'article et professeur agrégé au Center for Engineering in Society de l'Université de Washington. l'École d'ingénierie et d'informatique Gina Cody.
Elle estime que les contributions humaines resteront essentielles à la modération. Même si les méthodes automatisées de détection de la toxicité existantes peuvent s’améliorer et vont s’améliorer, aucune n’est sans erreur. Les décideurs humains sont essentiels pour réviser les décisions.
« Les efforts de modération seraient vains sans l'apprentissage automatique, car le volume est énorme. Mais perdu dans le battage médiatique autour de l'intelligence artificielle (IA), le fait fondamental est que l'apprentissage automatique nécessite un annotateur humain pour fonctionner. Nous ne pouvons supprimer ni les humains ni l'IA. «
Arezo Bodaghi est assistant de recherche à l'Institut Concordia d'ingénierie des systèmes d'information et auteur principal de l'article. « Nous ne pouvons pas simplement nous fier à la matrice d'évaluation actuelle trouvée dans l'apprentissage automatique et profond pour identifier le contenu toxique », ajoute Bodaghi. « Nous avons besoin qu'ils soient également plus précis et multilingues.
« Nous avons également besoin qu'ils soient très rapides, mais ils peuvent perdre en précision lorsque les techniques d'apprentissage automatique sont rapides. Il y a un compromis à faire. »
Une contribution plus large de divers groupes aidera les outils d’apprentissage automatique à devenir aussi inclusifs et exempts de préjugés que possible. Cela comprend le recrutement de travailleurs non anglophones et issus de groupes sous-représentés tels que les communautés LGBTQ2S+ et racialisées. Leurs contributions peuvent contribuer à améliorer les grands modèles linguistiques et ensembles de données utilisés par les outils d’apprentissage automatique.
Garder le monde en ligne social
Les chercheurs proposent plusieurs recommandations concrètes que les entreprises peuvent suivre pour améliorer la détection de la toxicité.
Il s’agit avant tout d’améliorer les conditions de travail des annotateurs. De nombreuses entreprises les paient à l’unité de travail plutôt qu’à l’heure. De plus, ces tâches peuvent être facilement délocalisées vers des travailleurs exigeant des salaires inférieurs à ceux de leurs homologues nord-américains ou européens, de sorte que les entreprises peuvent finir par payer leurs employés moins d'un dollar de l'heure.
Et peu de soins de santé mentale sont proposés, même si ces employés constituent un rempart de première ligne contre certains des contenus en ligne les plus horribles.
Les entreprises peuvent également délibérément créer des cultures de plateformes en ligne qui privilégient la gentillesse, l’attention et le respect mutuel, par opposition à d’autres telles que Gab, 4chan, 8chan et Truth Social, qui célèbrent la toxicité.
L’amélioration des approches algorithmiques aiderait les grands modèles de langage à réduire le nombre d’erreurs commises en cas d’identification erronée et de différenciation du contexte et du langage.
Enfin, la culture d’entreprise au niveau de la plateforme a un impact au niveau des utilisateurs.
Lorsque la propriété diminue la priorité, voire élimine la confiance des utilisateurs et les équipes de sécurité, par exemple, les effets peuvent se faire sentir dans toute l'entreprise et risquent de nuire au moral et à l'expérience des utilisateurs.
« Les événements récents dans l'industrie montrent pourquoi il est si important d'avoir des travailleurs respectés, soutenus, payés décemment et bénéficiant d'une certaine sécurité pour faire leur propre jugement », conclut Schmitt.
