La première application capable de reconnaître et d’interpréter l’alphabet de la langue des signes espagnole

Le groupe de robotique et de vision tridimensionnelle (RoViT) de l’Université d’Alicante (UA) a conçu la première application capable de reconnaître et d’interpréter l’alphabet de la langue des signes espagnole (connu sous l’acronyme LSE) en temps réel.

L’application s’appelle Sign4all et est une percée qui aide à briser les barrières de communication entre les personnes sourdes et entendantes dans des situations quotidiennes telles que se rendre au cabinet d’un médecin ou manger dans un restaurant. Selon la dernière enquête sur le handicap, l’autonomie personnelle et les situations de dépendance de l’Institut national espagnol de la statistique (INE), il y a 1 230 000 personnes en Espagne avec une déficience auditive de différents types et degrés. Parmi eux, 27 300 personnes utilisent la langue des signes pour communiquer.

Grâce à l’utilisation de différentes techniques de vision par ordinateur et d’apprentissage en profondeur, le doctorat. ingénieur en informatique et chercheur UA Ester Martínez, en collaboration avec Ph.D. Francisco Morillas, étudiant, a développé cet outil peu coûteux afin de pouvoir offrir une assistance aux personnes sourdes lorsqu’elles ne peuvent pas être assistées par un interprète.

Sign4all, après avoir extrait le détail du squelette des bras et des mains, code le côté gauche du corps en bleu et le côté droit en rouge, préservant à tout moment l’anonymat de l’utilisateur. A partir de ce moment, l’application traduit le signe utilisé par la personne sourde en temps réel et dans le sens inverse. Il est capable d’utiliser un avatar virtuel pour signer les mots espagnols tapés par la personne entendante. L’idée est que tout ce processus peut être effectué en téléchargeant une application et en utilisant l’appareil photo du téléphone portable ou de la tablette lui-même, afin qu’il puisse être utilisé n’importe où, comme l’explique Martínez.

Selon le chercheur UA, après de nombreux tests, Sign4all parvient à interpréter et reconnaître l’alphabet LSE avec une précision de 80%. Bien que ce résultat corresponde à l’alphabet dactylologique, ils travaillent sur une version avec un vocabulaire spécifique appartenant au domaine des tâches quotidiennes où ils peuvent interpréter des phrases complètes.

L’équipe UA a formé ce nouveau système pendant des mois, introduisant de plus en plus de panneaux. Dans ce sens, une collaboration est née avec le Groupe de recherche sur la langue espagnole et les langues des signes de l’Université de Vigo (GRILES), une équipe possédant une vaste expérience dans l’étude de cette langue et son utilisation dans différents territoires. L’Université de Vigo collecte des images avec des interprètes et l’UA traite toutes ces données. De cette manière, le vocabulaire du système de reconnaissance et d’interprétation LSE peut être amélioré et élargi beaucoup plus rapidement.

La recherche est publiée dans la revue Intelligence computationnelle et neurosciences.