Les algorithmes peuvent-ils juger l'équité ainsi que la précision?

Plus tôt cette année, Facebook a rétabli les règles contre un discours de haine et des abus. En plus des modifications de X (anciennement Twitter) qui ont suivi son achat par Elon Musk, les changements rendent plus difficile pour les utilisateurs de médias sociaux d'éviter de rencontrer une parole toxique.

Cela ne signifie pas que les réseaux sociaux et autres espaces en ligne ont abandonné le défi massif de modérer le contenu pour protéger les utilisateurs. Une nouvelle approche repose sur l'intelligence artificielle. Les outils de dépistage de l'IA peuvent analyser le contenu à grande échelle tout en épargnant les critères humains le traumatisme d'une exposition constante à la parole toxique.

Mais la modération du contenu de l'IA fait face à un défi, explique Maria De-Arteaga, professeur adjoint d'informations, de risques et de gestion des opérations chez Texas McCombs: être juste et être précis. Un algorithme peut être précis dans la détection de la parole toxique dans son ensemble, mais il peut ne pas le détecter aussi bien dans tous les groupes de personnes et tous les contextes sociaux.

« Si je regarde les performances globales, je peux dire, oh, ce modèle fonctionne très bien, même si cela peut toujours me donner la mauvaise réponse à un petit groupe », dit-elle. Par exemple, il pourrait mieux détecter un discours offensant pour un groupe ethnique qu'à un autre.

Dans de nouvelles recherches, De-Arteaga et ses co-auteurs montrent qu'il est possible d'atteindre des niveaux élevés de précision et d'équité. De plus, ils ont conçu un algorithme qui aide les parties prenantes à équilibrer les deux, trouvant des combinaisons souhaitables de précision et d'équité pour leurs situations particulières.

Les résultats sont publiés dans Recherche d'information, une revue électronique internationale.

Avec le professeur Matthew Bail et les étudiants diplômés Soumyajit Gupta et Anubrata Das de l'école d'information de l'UT, ainsi que Venelin Kovatchev de l'Université de Birmingham, Royaume-Uni, De-Arteaga a travaillé avec des données de données sur les médias sociaux déjà évalués « toxiques » et « non toxiques » ou en toute sécurité par des chercheurs précédents. Les ensembles ont totalisé 114 000 postes.

Les chercheurs ont utilisé une mesure d'équité appelée parité de précision de groupe (GAP), ainsi que des formules qui ont aidé à former un modèle d'apprentissage automatique pour équilibrer l'équité avec précision. Appliquer leur approche via l'IA pour analyser les ensembles de données:

• Il a réussi jusqu'à 1,5% mieux que les plus belles approches pour traiter équitablement tous les groupes.
• Il a obtenu le meilleur pour maximiser à la fois l'équité et la précision en même temps.

Mais l'écart n'est pas une solution unique pour l'équité, note De-Arteaga. Différentes mesures de l'équité peuvent être pertinentes pour les différentes parties prenantes. Les types de données nécessaires pour former les systèmes dépendent en partie des groupes spécifiques et des contextes auxquels ils sont appliqués.

Par exemple, différents groupes peuvent avoir des opinions différentes sur le discours toxique. De plus, les normes sur la parole toxique peuvent évoluer avec le temps.

Se tromper de telles nuances pourrait retirer à tort quelqu'un d'un espace social en errant maltant la parole non toxique comme toxique. À l'autre extrême, les faux pas pourraient exposer plus de personnes à un discours haineux.

Le défi est aggravé pour des plates-formes comme Facebook et X, qui ont des présences mondiales et servent un large éventail d'utilisateurs.

« Comment intégrez-vous les considérations d'équité dans la conception des données et l'algorithme d'une manière qui n'est pas seulement centrée sur ce qui est pertinent aux États-Unis? » Dit De-Arteaga.

Pour cette raison, les algorithmes peuvent nécessiter une mise à jour continue, et les concepteurs peuvent avoir besoin de les adapter aux circonstances et aux types de contenu qu'ils modérent, dit-elle. Pour faciliter cela, les chercheurs ont rendu le code de GAP accessible au public.

Des niveaux élevés d'équité et de précision sont réalisables, dit De-Arteaga, si les concepteurs prêtent attention aux contextes techniques et culturels.

« Vous devez vous en soucier et vous devez avoir des connaissances interdisciplinaires », dit-elle. « Vous devez vraiment tenir compte de ces considérations. »