Transformer les gestes en discours pour les personnes ayant une communication limitée
La communication est un droit humain fondamental, et de nombreuses personnes ont besoin d'approches ou d'outils de communication augmentative et alternative (AAC), tels qu'un ordinateur portable ou une tablette électronique avec des symboles que l'utilisateur peut sélectionner pour créer des messages, pour communiquer efficacement.
Bien que l'accès aux thérapies vocales et aux interventions qui favorisent des résultats de communication réussis peuvent aider certains, de nombreux systèmes AAC existants ne sont pas conçus pour répondre aux besoins des personnes souffrant de troubles moteurs ou visuels.
En intégrant les capteurs de mouvement à l'intelligence artificielle (IA), les chercheurs de Penn State trouvent de nouvelles façons de soutenir davantage la communication expressive pour les utilisateurs de l'AAC.
Dirigée par Krista Wilkinson, professeur distingué de sciences et de troubles de la communication à Penn State, et Syed Billah, professeur adjoint de sciences et de technologies de l'information à Penn State, les chercheurs ont développé et testé une application prototype qui interprète les mouvements communicatifs basés sur le corps dans la sortie de la parole à l'aide de capteurs.
Ce test initial comprenait trois personnes atteintes d'une déficience motrice ou visuelle qui ont servi de conseillers communautaires au projet. Tous les participants ont déclaré que le prototype avait amélioré leur capacité à communiquer rapidement et avec des personnes en dehors de leur cercle social immédiat. La théorie derrière la technologie et les premières découvertes ont été publiées dans la revue Communication augmentative et alternative.
AAC aidé et sans aide
Il existe deux types différents d'individus AAC. L'AAC aidé est généralement assisté par la technologie – pointant sur des images ou sélectionnant des symboles dans une application spécialisée sur une tablette électronique. Par exemple, une personne peut être présentée avec trois options alimentaires différentes via des images sur sa tablette et indiquera le choix qu'elle souhaite, le communiquant à son partenaire de communication. Bien que l'AAC aidé puisse être compris facilement, même par des individus qui ne connaissent pas l'utilisateur, il peut être physiquement éprouvant pour ceux qui souffrent de déficiences visuelles ou moteurs, selon Wilkinson.
L'autre forme de AAC est des expressions, des expressions ou des gestes Facial – Facial – Facial, sans aide, ou à base de corps, spécifiques à l'individu. Par exemple, une personne avec peu ou pas de discours qui a également des déficiences motrices, mais peut bouger ses bras et leurs mains, peut lever la main lorsqu'il est montré une signalisation d'objet spécifique, « je veux ».
« L'AAC sans aide est rapide, efficace et souvent moins éprouvant physiquement pour les individus, car les mouvements et les gestes sont systématiquement utilisés dans leur vie quotidienne », a déclaré Wilkinson. « L'inconvénient est que ces gestes ne sont généralement connus que par des personnes familières avec l'individu et ne peuvent pas être comprises par ceux avec lesquels ils peuvent interagir sur une base moins fréquente, ce qui rend plus difficile pour les utilisateurs d'AAC d'être indépendants. »
Selon Wilkinson, l'objectif de développer le prototype était de commencer à briser le mur entre AAC aidé et sans aide, donnant aux individus les outils dont ils ont besoin pour ouvrir davantage le monde et communiquer librement avec ceux en dehors de leurs cercles immédiats.
Comment l'IA peut aider
Les technologies actuelles ont déjà commencé à incorporer l'IA pour la reconnaissance des gestes naturels. Cependant, les technologies grand public sont basées sur un grand nombre de mouvements produits par des personnes sans handicap. Pour les personnes ayant des handicaps moteurs ou visuels, il est nécessaire de rendre les technologies capables d'apprendre des mouvements idiosyncratiques – des mouvement et des gestes avec une signification spécifique aux individus – et de les cartographier à des commandes spécifiques.
La capacité de ces systèmes à s'adapter aux modèles de mouvement individuels réduit le potentiel d'erreur et les demandes imposées à l'individu à effectuer des mouvements pré-attribués spécifiques, selon Wilkinson.
L'utilité et l'expérience utilisateur des algorithmes d'IA sont cependant largement inexplorées. Il existe des lacunes dans la compréhension de la façon dont ces algorithmes sont développés, comment ils peuvent être adaptés aux utilisateurs de l'AAC ayant divers handicaps et comment ils peuvent être intégrés de manière transparente dans l'AAC existant, selon Wilkinson.
Construire le prototype
Lors du développement et du test du prototype, Wilkinson a déclaré qu'il était important pour elle et son équipe de recueillir les commentaires et les commentaires de personnes qui seraient susceptibles d'utiliser et de bénéficier de cette technologie.
Emma Elko est l'une des trois «conseillers communautaires» avec lesquels les chercheurs ont travaillé, ainsi que sa mère, Lynn Elko, le principal partenaire de communication d'Emma. Emma a une déficience visuelle corticale – un handicap visuel causé par des dommages aux voies visuelles du cerveau plutôt qu'aux yeux eux-mêmes – et utilise AAC aidé pour communiquer. Elle a également des gestes spécifiques qu'elle fait pour dire « Je veux » et « Venez ici ».
En utilisant un capteur porté au poignet d'Emma, les chercheurs ont capturé ses mouvements de communication. Le capteur a détecté la cinématique – comment un objet se déplace, se concentrant sur la position et la vitesse – de chaque mouvement, ce qui lui permet de distinguer différents gestes comme un mouvement haut et bas par rapport à un mouvement latéralement.
Emma a été invitée à répéter un mouvement trois fois, Lynn signalant le début et la fin du mouvement pour que l'algorithme puisse capturer. Les chercheurs ont découvert que trois répétitions d'un geste ont recueilli suffisamment de données et minimisé la fatigue des utilisateurs.
Une fois que l'algorithme AI a capturé le geste et une sortie communicative associée attribuée, une application de smartphone connectée a traduit le geste en sortie de la parole à produire chaque fois que le capteur a enregistré le geste. De cette façon, Emma pouvait communiquer directement avec quelqu'un qui ne connaissait pas le sens spécifique de ses gestes.
« L'idée est que nous pouvons créer un petit dictionnaire des gestes les plus couramment utilisés d'un individu qui ont un sens communicatif pour eux », a déclaré Wilkinson. « La grande chose à ce sujet est que la technologie du capteur permet aux individus d'être déconnectés de leur ordinateur ou de leur tablette AAC, leur permettant de communiquer avec les gens plus librement. »
Apporter cette technologie aux personnes qui en ont besoin
Bien que la technologie soit toujours au stade du prototype, Lynn a déclaré qu'elle l'avait déjà vu avoir un impact positif sur la vie d'Emma.
« Il a été passionnant de voir un capteur léger et discret détecter les mouvements de communication d'Emma et les parler pour elle, permettant aux gens moins familiers de la comprendre instantanément », a déclaré Lynn.
Bien que ce test initial ait prouvé que cette idée fonctionne à un niveau conceptuel, des questions restent en réglage fin de la technologie des capteurs. La prochaine étape pour Wilkinson et son équipe consiste à mettre cette technologie entre les mains de plus de personnes atteintes de troubles moteurs ou visuels qui utilisent l'AAC pour des tests et une collecte de données plus répandus. L'objectif des chercheurs est de déterminer non seulement dans quelle mesure l'algorithme se comporte lors de l'identification des mouvements cibles, mais aussi de la façon dont il peut ignorer les mouvements involontaires et comment l'affiner pour distinguer les gestes similaires qui ont des significations communicatives différentes.
« Chaque individu aura des priorités différentes et des besoins de communication différents », a déclaré Wilkinson. « Bien que le capteur soit idéal pour capturer des mouvements très distincts les uns des autres, nous devons développer un moyen de capturer des gestes qui nécessitent plus de précision. La prochaine étape pour nous consiste à développer des algorithmes basés sur des caméras qui fonctionneront en tandem avec le capteur, ce qui rend finalement cette technologie accessible pour autant de personnes que possible. »
Lynn et Emma continuent de travailler avec le capteur et l'application intégrée et peuvent le voir avoir un impact plus important dans la vie d'Emma alors que la technologie continue d'évoluer.
« Nous sommes impatients de la saison du ski lorsque Emma peut porter le capteur pour communiquer sur les pistes au lieu de communiquer uniquement avec son AAC sur papier sur le chaise », a déclaré Lynn. « Vivre sans mots prononcés peut apporter l'isolement et un cercle social limité. Cette technologie élargira le monde d'Emma, et j'ai hâte d'assister à l'impact de cela sur sa vie. »
