Une nouvelle méthode améliore la traduction IA de la langue des signes

Les langues des signes ont été développées par des pays du monde entier pour s’adapter au style de communication local, et chaque langue est composée de milliers de signes. Cela a rendu les langues des signes difficiles à apprendre et à comprendre.

L’utilisation de l’intelligence artificielle pour traduire automatiquement les signes en mots, connue sous le nom de reconnaissance de la langue des signes au niveau des mots, a désormais gagné en précision grâce aux travaux d’un groupe de recherche dirigé par l’Université métropolitaine d’Osaka. Les résultats ont été publiés dans Accès IEEE.

Les méthodes de recherche précédentes se sont concentrées sur la capture d’informations sur les mouvements généraux du signeur. Les problèmes de précision proviennent des différentes significations qui pourraient survenir en fonction des différences subtiles dans la forme des mains et dans la relation entre la position des mains et du corps.

Le professeur agrégé de l’École supérieure d’informatique Katsufumi Inoue et le professeur agrégé Masakazu Iwamura ont travaillé avec des collègues de l’Institut indien de technologie Roorkee pour améliorer la précision de la reconnaissance de l’IA. Ils ont ajouté des données telles que les expressions des mains et du visage, ainsi que des informations squelettiques sur la position des mains par rapport au corps, aux informations sur les mouvements généraux du haut du corps du signeur.

« Nous avons pu améliorer la précision de la reconnaissance de la langue des signes au niveau des mots de 10 à 15 % par rapport aux méthodes conventionnelles », a déclaré le professeur Inoue. « En outre, nous espérons que la méthode que nous avons proposée pourra être appliquée à n’importe quelle langue des signes, ce qui, espérons-le, permettra d’améliorer la communication avec les personnes malentendantes et parlantes dans divers pays. »