Un responsable de la confiance et de la sécurité parle de l'IA et de la modération du contenu

Alex Popken a longtemps été responsable de la confiance et de la sécurité chez Twitter, se concentrant sur la modération du contenu avant de partir en 2023. Elle a été la première employée dédiée à la modération des activités publicitaires de Twitter lorsqu'elle a débuté en 2013.

Elle est aujourd'hui vice-présidente de la confiance et de la sécurité chez WebPurify, un fournisseur de services de modération de contenu qui travaille avec les entreprises pour garantir que le contenu que les gens publient sur leurs sites respecte les règles.

Les plateformes de médias sociaux ne sont pas les seules à nécessiter une surveillance policière. Toute entreprise en contact avec les consommateurs, des détaillants aux applications de rencontres en passant par les sites d'information, a besoin de quelqu'un pour éliminer les contenus indésirables, qu'il s'agisse de discours de haine, de harcèlement ou de tout autre élément illégal. Les entreprises utilisent de plus en plus l’intelligence artificielle dans leurs efforts, mais Popken note que les humains restent essentiels au processus.

Popken s'est entretenu récemment avec l'Associated Press. La conversation a été modifiée pour plus de clarté et de longueur.

QUESTION : Comment avez-vous vu l'évolution de la modération du contenu au cours de la décennie où vous étiez chez Twitter ?

RÉPONSE : Lorsque j'ai rejoint Twitter, la modération du contenu en était à ses balbutiements. Je pense que même la confiance et la sécurité étaient des concepts que les gens commençaient tout juste à comprendre et à comprendre. Le besoin de modération du contenu s’est intensifié à mesure que nous, les plateformes, avons vu ces derniers être transformés en armes de nouvelles manières. Je peux en quelque sorte rappeler quelques étapes clés de mon mandat chez Twitter. Par exemple, l’ingérence russe dans l’élection présidentielle américaine de 2016, où nous avons réalisé pour la première fois et de manière significative que sans modération du contenu, de mauvais acteurs pouvaient saper la démocratie. La nécessité d’investir dans ce domaine est devenue de plus en plus importante.

Q : De nombreuses entreprises, notamment les plus grandes sociétés de médias sociaux, s'appuient sur l'IA pour modérer leur contenu. Pensez-vous que l’IA est encore à un stade où il est possible de s’appuyer sur elle ?

R : Une modération de contenu efficace est une combinaison d’humains et de machines. L’IA, utilisée avec modération depuis des années, est une solution à l’échelle. Vous disposez ainsi de modèles d’apprentissage automatique formés sur différentes politiques et capables de détecter du contenu. Mais en fin de compte, disons que vous disposez d'un modèle d'apprentissage automatique qui détecte le mot « nazi ». De nombreux articles pourraient critiquer les nazis ou fournir du matériel éducatif sur les nazis par rapport à la suprématie blanche. Et donc cela ne peut pas résoudre la question des nuances et du contexte. Et c’est vraiment là qu’intervient la couche humaine.

Je pense que nous commençons à voir des progrès vraiment importants qui vont faciliter le travail de l'homme. Et je pense que l’IA générative en est un excellent exemple, contrairement à l’IA traditionnelle. Modèles d’IA, il peut comprendre le contexte et les nuances bien plus que son prédécesseur. Mais même quand même, nous avons désormais des cas d’utilisation entièrement nouveaux pour nos modérateurs humains autour de la modération des sorties génératives de l’IA. À mon avis, le besoin de modération humaine perdurera donc dans un avenir prévisible.

Q : Pouvez-vous parler un peu des sociétés de médias non sociaux avec lesquelles vous travaillez et du type de modération de contenu qu'elles utilisent ?

R : Je veux dire, tout ce qui concerne la personnalisation des produits de vente au détail, vous savez, imaginez que vous permettiez aux gens de personnaliser des T-shirts, n'est-ce pas ? Évidemment, vous voulez éviter les cas d’utilisation dans lesquels les gens en abusent et mettent des éléments nuisibles et haineux sur le T-shirt.

Vraiment, tout ce qui a du contenu généré par les utilisateurs, jusqu'aux rencontres en ligne – là, vous recherchez des choses comme la pêche au chat et les escroqueries et vous assurez que les gens sont bien ceux qu'ils prétendent être et empêchez les gens de télécharger des photos inappropriées par exemple. Cela couvre plusieurs secteurs.

Q : Qu'en est-il des problèmes que vous modérez, est-ce que cela change ?

R : La modération du contenu est un paysage en constante évolution. Et cela est influencé par ce qui se passe dans le monde. Il est influencé par les technologies nouvelles et en évolution. Elle est influencée par de mauvais acteurs qui tenteront d'accéder à ces plateformes de manière nouvelle et innovante. En tant qu’équipe de modération de contenu, vous essayez donc de garder une longueur d’avance et d’anticiper les nouveaux risques.

Je pense qu'il y a un peu de réflexion catastrophique dans ce rôle où l'on réfléchit aux pires scénarios qui peuvent arriver ici. Et certainement ils évoluent. Je pense que la désinformation est un excellent exemple de la désinformation qui comporte de nombreuses facettes et qui est si difficile à modérer. C'est comme faire bouillir l'océan. Je veux dire, vous ne pouvez pas vérifier chaque chose que quelqu'un dit, n'est-ce pas ? C’est pourquoi les plateformes doivent généralement se concentrer sur la désinformation pour ne pas causer le plus grand préjudice au monde réel. Et cela évolue également constamment.

Q : En termes d'IA générative, certains pensent apocalyptique que cela va ruiner Internet, qu'il ne s'agira que, vous savez, de fausses fonctionnalités d'IA. Avez-vous l’impression que cela pourrait arriver ?

R : Je suis préoccupé par la désinformation générée par l’IA, en particulier pendant une période électorale extrêmement importante à l’échelle mondiale. Vous savez, nous voyons activement de plus en plus de deepfakes et de médias synthétiques et manipulés nuisibles en ligne, ce qui est préoccupant car je pense que la personne moyenne traverse probablement une période difficile. discerner ce qui est exact ou non.

Je pense qu'à moyen et long terme, si je peux être correctement réglementé et s'il y a des garde-fous appropriés autour, je pense également que cela peut créer une opportunité pour nos praticiens de la confiance et de la sécurité. Je fais. Imaginez un monde dans lequel l’IA serait un outil important dans la panoplie d’outils de modération de contenu, pour des choses comme la veille sur les menaces. Vous savez, je pense que ce sera un outil extrêmement utile, mais il sera également utilisé à mauvais escient. Et nous le voyons déjà.