Un nouveau chatbot se met en ligne pour lutter contre les abus basés sur l’image

L’abus d’images – lorsqu’une personne prend, partage ou menace de partager des images ou des vidéos nues, semi-nues ou sexuelles sans consentement – est devenu un problème croissant, vécu par 1 Australien sur 3 interrogé en 2019.

Chercheur principal derrière la création de « Umibot », le professeur Nicola Henry du Centre d’études sociales et mondiales du RMIT, a déclaré que le contenu « deepfake » (fausses vidéos ou images générées à l’aide de l’IA), les incidents où les gens sont poussés à créer du contenu sexuel et à recevoir des envois sexuels non sollicités les images ou les vidéos comptent également comme un abus basé sur l’image.

« C’est une énorme violation de la confiance qui est conçue pour faire honte, punir ou humilier. C’est souvent un moyen pour les auteurs d’exercer un pouvoir et un contrôle sur les autres », a déclaré Henry, membre du Future Fellow de l’Australian Research Council.

« De nombreuses victimes-survivantes à qui nous avons parlé veulent simplement que le problème disparaisse et que le contenu soit retiré ou supprimé, mais souvent elles ne savent pas où aller pour obtenir de l’aide. »

C’est ce que ce chatbot pilote est là pour résoudre.

L’idée est venue à Henry après avoir mené des entretiens avec des victimes-survivantes sur leurs expériences d’abus basés sur l’image.

Bien que les personnes à qui elle a parlé aient vécu diverses expériences, Henry a déclaré qu’elles ne savaient souvent pas où aller pour obtenir de l’aide et que certaines ne savaient pas que ce qui leur était arrivé était un crime.

« Les victimes-survivantes que nous avons interrogées ont déclaré qu’elles étaient souvent blâmées par des amis, des membres de leur famille et d’autres personnes et qu’elles avaient honte, ce qui les rendait encore plus réticentes à demander de l’aide », a déclaré Henry.

Le Dr Alice Witt, chercheuse au RMIT travaillant sur le projet avec Henry, a déclaré qu’Umibot ne remplace pas le soutien humain, mais qu’il est conçu pour aider les gens à naviguer dans des voies complexes et leur fournir des options de signalement et des conseils sur la collecte de preuves ou comment pour rester en sécurité en ligne.

« Ce n’est pas seulement pour les victimes-survivants », a déclaré Witt.

« Umibot est conçu pour aider également les passants et même les auteurs en tant qu’outil potentiel pour empêcher que ces abus ne se produisent. »

Comment fonctionne Umibot ?

Les utilisateurs peuvent taper des questions pour Umibot ou sélectionner des réponses parmi un ensemble d’options.

Umibot demande également aux utilisateurs d’identifier s’ils ont plus ou moins de 18 ans et s’ils ont besoin d’aide pour eux-mêmes, d’aide pour quelqu’un d’autre ou s’ils sont préoccupés par quelque chose qu’ils ont fait. Cela indiquera le type de soutien et d’informations qu’ils obtiennent en fonction de leurs expériences.

Henry dit qu’Umibot est le premier du genre à être dédié aux victimes survivantes d’abus basés sur l’image.

« Il existe d’autres chatbots qui aident plus largement les personnes qui ont subi différents préjudices en ligne, mais ils ne se concentrent pas sur les abus basés sur l’image et ils n’ont pas la même fonctionnalité hybride qui permet aux utilisateurs de taper des questions au chatbot,  » dit Henri.

Une nouvelle approche de la conception de chatbot

Henry et Witt ont travaillé avec l’agence numérique Tundra, basée à Melbourne, pour créer Umibot à l’aide d’Amazon Lex, un service d’intelligence artificielle permettant de créer des chatbots en langage naturel.

« Nous savons que les victimes survivantes d’abus basés sur l’image sont confrontées à un éventail d’expériences au-delà de l’abus basé sur l’image, nous avons donc développé Umibot comme un outil d’autonomisation entièrement inclusif et tenant compte des traumatismes pour soutenir les personnes qui ont des expériences diverses et viennent d’horizons différents. « , a déclaré Henri.

L’équipe a également travaillé avec un large éventail de consultants et a réalisé un audit d’accessibilité indépendant pour s’assurer qu’Umibot était aussi conforme que possible aux normes d’accessibilité mondiales pour les personnes handicapées.

« Notre principal défi éthique était de s’assurer qu’Umibot ne causait aucun dommage ou traumatisme, ou que l’utilisateur ne se sente accablé », a déclaré Witt.

« Beaucoup de victimes-survivantes ne sont pas prêtes à parler à une personne de leurs expériences, alors apprendre à Umibot à être empathique et serviable est un moyen pour elles de demander de l’aide sans aucune pression. »

Prochaines étapes pour Umibot

Avec Umibot disponible dès maintenant, les chercheurs espèrent développer une version 2 d’Umibot pour les victimes-survivants, les passants et les auteurs d’abus basés sur l’image dans les prochaines années.

« Nous espérons qu’Umibot permettra non seulement aux victimes survivantes de trouver de l’aide, mais nous aidera également à créer des directives de » meilleures pratiques « pour concevoir, développer et déployer des outils et des interventions numériques pour lutter plus largement contre les préjudices en ligne », a déclaré Witt.