Pour les personnes sourdes, voyager en train peut être un pari : l'avatar Auslan alimenté par l'IA peut aider

Pour les personnes sourdes, voyager en train peut être un pari. Dans une journée normale, rien ne se passe mal : ils prennent leur train pour arriver à destination et poursuivent leurs activités.

Mais lorsque quelque chose d’extraordinaire se produit, la situation peut vite devenir effrayante, car la plupart des mises à jour ne sont délivrées que par des annonces audio. Un voyageur sourd peut rater son train parce qu'il a été déplacé vers un autre quai, ou regarder sa gare passer à toute vitesse parce que le train ne s'y arrête pas aujourd'hui. Ils peuvent également rester dans un wagon en cas d'urgence après que tous les autres ont été évacués et doivent être secourus par le personnel de la gare.

Chacun de ces exemples est tiré des expériences réelles des personnes sourdes de Sydney. Mais mes collègues et moi travaillons avec Sydney Trains et des membres de la communauté australienne des Sourds pour développer un avatar de signature avancé, alimenté par l'intelligence artificielle (IA), capable de traduire automatiquement les annonces audio en Auslan.

Notre travail sur l'avatar s'oriente également vers l'étape suivante : développer des systèmes d'IA capables de « comprendre » Auslan.

Les voyages ne se déroulent pas toujours comme prévu

Plus tôt cette année, mes collègues et moi avons mené une étude pilote auprès de trois voyageurs sourds en train à Sydney. En plus des histoires qu'ils ont partagées sur ce qui peut mal se passer pendant un voyage en train, nous avons appris qu'ils utilisent des stratégies éprouvées pour que leurs voyages se déroulent sans problème.

Leurs stratégies pourraient être familières aux navetteurs réguliers. Par exemple, ils planifiaient leurs déplacements avec une application, arrivaient tôt et cherchaient des panneaux pour savoir si quelque chose avait changé.

Mais ils ont également déclaré qu'ils ressentaient le besoin de se tenir près des écrans d'information pour surveiller les mises à jour et demander des informations au personnel de la gare ou aux autres passagers lorsque la situation avait changé. Ils ont également déclaré avoir été hypervigilants dans le train, surveillant pour s'assurer de ne pas manquer leur arrêt.

Mais ces stratégies ne garantissaient pas toujours aux voyageurs sourds de recevoir des informations importantes, notamment sur les urgences. Par exemple, bien que généralement serviable, le personnel de la station était parfois trop occupé pour aider.

La plus grande frustration survenait dans les situations où les autres passagers n'étaient pas disposés ou capables de fournir des informations, laissant nos voyageurs sourds se contenter de « suivre la foule ». Cela signifiait souvent se retrouver au mauvais endroit.

Développer un avatar signataire

Les logiciels de synthèse vocale peuvent sembler une solution simple à certains de ces problèmes. Mais pour de nombreuses personnes sourdes, l’anglais n’est pas leur langue maternelle et l’Auslan peut être traité beaucoup plus facilement et rapidement.

Nos voyageurs sourds nous ont dit que, dans un monde parfait, ils auraient besoin d’interprètes en direct. Cependant, une traduction automatique, alimentée par l'IA, utilisant un avatar signataire affiché sur un quai ou un écran de train, capable d'identifier les mots clés dans une annonce audio, de générer une phrase avec la grammaire Auslan correcte et d'assembler les signes correspondants de notre bibliothèque de vocabulaire était intéressante. un certain nombre de raisons.

Premièrement, il permet la traduction en temps réel d'annonces utilisant un vocabulaire connu, ce qui est pertinent dans le contexte des trains et des gares, où de nombreuses annonces couvrent des sujets similaires.

Deuxièmement, un avatar et sa signature peuvent être personnalisés en fonction des besoins d'une situation donnée, par exemple en utilisant des informations sur l'emplacement de l'écran pour garantir que l'avatar signe dans la bonne direction tout en indiquant les sorties ou d'autres plates-formes.

Troisièmement, plusieurs signataires peuvent ajouter des signes au vocabulaire d'un avatar, qui peuvent ensuite être assemblés en douceur pour former une phrase.

Et surtout, un avatar signifie qu'aucune personne réelle ne doit être le « visage » des annonces générées automatiquement par une organisation. Ceci est particulièrement important parce que la communauté sourde australienne est petite et soudée, et si quelque chose ne va pas avec la traduction, personne ne subit de dommages à sa réputation.

D'un point de vue technique, un avatar permet également d'assurer un seuil minimum de qualité pour la signature. Nous utilisons la capture de mouvement pour nous assurer que chaque signe de notre bibliothèque de vocabulaire est exact et que les mouvements sont clairs.

Cela nous aide également à éviter la « vallée étrange » – un effet où quelque chose d’humain mais subtilement faux est troublant. Nous ne voulons pas des monstruosités à plusieurs doigts que vous avez peut-être vues récemment générées par l’IA.

L'IA pour tous

Ce travail constitue une étape dans notre objectif plus large de créer un système d’IA capable de comprendre Auslan. Cette IA pourrait être utilisée pour aider le personnel des stations sourdes et entendantes à converser, ou pour créer des « cabines de chatbot » ou des assistants basés sur des applications qui permettraient aux personnes sourdes d'obtenir des informations sur demande à Auslan sur leurs voyages en train ou d'autres tâches quotidiennes.

Les langues des signes et les cultures sourdes du monde entier présentent des nuances et des complexités dont les chercheurs entendants et les développeurs d’IA ne sont peut-être pas conscients. Ces nuances et complexités doivent être intégrées dans les nouvelles technologies, et les chercheurs et les développeurs doivent adopter une approche axée sur le langage pour la collecte et la conception de données d'IA. avec— pas seulement pour — les personnes sourdes.

Ce n’est qu’alors que l’IA répondra aux besoins réels des personnes Sourdes : assurer leur sécurité et leur indépendance dans tous les aspects de la vie quotidienne.