Des chercheurs développent un outil d’IA pour améliorer l’accessibilité à la technologie pour les personnes qui dépendent de la langue des signes

Des chercheurs du Barcelona Supercomputing Center—Centro Nacional de Supercomputación (BSC-CNS) et de l’Universitat Politècnica de Catalunya (UPC) ont développé un outil de recherche sur la traduction automatique en langue des signes qui utilise l’intelligence artificielle pour éliminer certaines des barrières de communication couramment rencontrées par les personnes sourdes et malentendantes.

Malgré les avancées des technologies de reconnaissance vocale comme Alexa et Siri, les langues des signes ne sont toujours pas incluses dans ces applications de plus en plus présentes au quotidien dans de nombreux foyers. Cela constitue un obstacle pour les personnes qui utilisent la langue des signes comme mode de communication préféré pour interagir avec la technologie et accéder à des services numériques conçus uniquement pour les langues parlées.

Le développement de ce nouveau logiciel open source est une étape importante pour rendre la communication accessible et sans obstacle pour tous. À cette fin, les chercheurs de la BSC et de l’UPC ont combiné des techniques de vision par ordinateur, de traitement du langage naturel et d’apprentissage automatique pour faire avancer la recherche sur la traduction automatique de la langue des signes, un problème complexe dû en partie à la variabilité et au grand nombre de langues des signes dans le monde.

Le système, encore en phase expérimentale, utilise un modèle d’apprentissage automatique appelé Transformers, qui est à la base d’autres outils d’intelligence artificielle tels que ChatGPT, pour convertir des phrases entières en langue des signes au format vidéo en langage parlé au format texte. Il est actuellement axé sur la langue des signes américaine (ASL) mais pourrait être adapté à toute autre langue tant que toutes les données nécessaires sont disponibles, c’est-à-dire qu’il existe un corpus avec des données parallèles où chaque phrase en langue des signes (au format vidéo) a un traduction correspondante dans la langue parlée (au format texte).

« Le nouvel outil développé est une extension d’une publication précédente également par BSC et l’UPC appelée How2Sign, où les données nécessaires pour former les modèles (plus de 80 heures de vidéos où des interprètes en langue des signes américaine traduisent des didacticiels vidéo tels que des recettes de cuisine ou de bricolage astuces) ont été publiés. Avec ces données déjà disponibles, l’équipe a développé un nouveau logiciel open source capable d’apprendre la correspondance entre la vidéo et le texte », explique Laia Tarrés, chercheuse au BSC et à l’UPC, qui a présenté la publication du nouveau modèle à coïncider avec la célébration de la Journée mondiale de sensibilisation à l’accessibilité.

Étape vers une application réelle

Les chercheurs disent que ce nouveau travail est un pas dans la bonne direction, mais ils soulignent également qu’il reste encore beaucoup à faire. Ce sont des premiers résultats qui, pour le moment, ne permettent pas de créer une application concrète au service des utilisateurs. L’objectif est de continuer à travailler pour améliorer l’outil et obtenir une véritable application qui favorisera la création de technologies accessibles aux personnes sourdes et malentendantes.

Le projet a déjà été présenté à l’espace Fundación Telefónica de Madrid dans le cadre de l’exposition « Code et algorithmes. Sens dans un monde calculé » qui, avec une présence éminente de BSC, rassemble différents projets liés à l’intelligence artificielle. Il sera également bientôt exposé au Centre de Culture Contemporaine de Barcelone (CCCB) dans le cadre d’une grande exposition également sur l’intelligence artificielle qui ouvrira en octobre.

« Cet outil ouvert de traduction automatique en langue des signes est une contribution précieuse à la communauté scientifique axée sur l’accessibilité, et sa publication représente une étape importante vers la création d’une technologie plus inclusive et accessible à tous », conclut Tarrés.

Le document est publié sur le arXiv serveur de préimpression.