Une interface cerveau-ordinateur permet à une femme gravement paralysée de parler via un avatar numérique
Décodage multimodal de la parole chez un participant atteint de paralysie des voies vocales. Crédit: Nature (2023). DOI : 10.1038/s41586-023-06443-4
Des chercheurs de l’UC San Francisco et de l’UC Berkeley ont développé une interface cerveau-ordinateur (BCI) qui a permis à une femme gravement paralysée suite à un accident vasculaire cérébral du tronc cérébral de parler via un avatar numérique.
C’est la première fois que la parole ou les expressions faciales sont synthétisées à partir de signaux cérébraux. Le système peut également décoder ces signaux en texte à une vitesse de près de 80 mots par minute, une amélioration considérable par rapport à la technologie disponible dans le commerce.
Edward Chang, MD, président de chirurgie neurologique à l’UCSF, qui travaille sur la technologie connue sous le nom d’interface cerveau-ordinateur, ou BCI, depuis plus d’une décennie, espère que cette dernière percée en recherche, parue le 23 août 2023, dans Natureconduira dans un avenir proche à un système approuvé par la FDA qui permettra la parole à partir de signaux cérébraux.
« Notre objectif est de restaurer une manière de communiquer complète et incarnée, qui est vraiment la manière la plus naturelle pour nous de parler avec les autres », a déclaré Chang, membre de l’Institut Weill de l’UCSF pour les neurosciences et professeur émérite Jeanne Robertson en Psychiatrie. « Ces progrès nous rapprochent beaucoup plus d’une véritable solution pour les patients. »
L’équipe de Chang avait précédemment démontré qu’il était possible de décoder les signaux cérébraux en texte chez un homme qui avait également subi un accident vasculaire cérébral plusieurs années plus tôt. L’étude actuelle démontre quelque chose de plus ambitieux : décoder les signaux cérébraux dans la richesse de la parole, ainsi que les mouvements qui animent le visage d’une personne pendant une conversation.
Chang a implanté un mince rectangle de 253 électrodes sur la surface du cerveau de la femme sur les zones que son équipe a découvertes comme étant essentielles à la parole. Les électrodes ont intercepté les signaux cérébraux qui, sans l’accident vasculaire cérébral, auraient été transmis aux muscles de sa langue, de sa mâchoire et de son larynx, ainsi qu’à son visage. Un câble, branché sur un port fixé sur sa tête, reliait les électrodes à une batterie d’ordinateurs.
Pendant des semaines, la participante a travaillé avec l’équipe pour entraîner les algorithmes d’intelligence artificielle du système à reconnaître ses signaux cérébraux uniques pour la parole. Cela impliquait de répéter encore et encore différentes phrases d’un vocabulaire conversationnel de 1 024 mots, jusqu’à ce que l’ordinateur reconnaisse les schémas d’activité cérébrale associés aux sons.
Plutôt que d’entraîner l’IA à reconnaître des mots entiers, les chercheurs ont créé un système qui décode les mots à partir des phonèmes. Ce sont les sous-unités du discours qui forment les mots parlés de la même manière que les lettres forment les mots écrits. « Bonjour », par exemple, contient quatre phonèmes : « HH », « AH », « L » et « OW ».
Grâce à cette approche, l’ordinateur n’avait besoin que d’apprendre 39 phonèmes pour déchiffrer n’importe quel mot en anglais. Cela a à la fois amélioré la précision du système et l’a rendu trois fois plus rapide.
« La précision, la rapidité et le vocabulaire sont cruciaux », a déclaré Sean Metzger, qui a développé le décodeur de texte avec Alex Silva, tous deux étudiants diplômés du programme commun de bio-ingénierie de l’UC Berkeley et de l’UCSF. « C’est ce qui donne à un utilisateur le potentiel, avec le temps, de communiquer presque aussi vite que nous et d’avoir des conversations beaucoup plus naturalistes et normales. »
Une participante à l’étude du Dr Edward Chang sur les neuroprothèses de la parole est connectée à des ordinateurs qui traduisent ses signaux cérébraux alors qu’elle tente de parler avec la parole et les mouvements du visage d’un avatar, le lundi 22 mai 2023, à El Cerrito, en Californie. À gauche se trouve Max Dougherty, coordinateur de la recherche clinique à l’UCSF. Crédit : Noé Berger
Pour créer la voix, l’équipe a conçu un algorithme de synthèse de la parole, qu’ils ont personnalisé pour qu’il ressemble à sa voix avant la blessure, en utilisant un enregistrement de son discours lors de son mariage.
L’équipe a animé l’avatar à l’aide d’un logiciel qui simule et anime les mouvements musculaires du visage, développé par Speech Graphics, une société qui réalise des animations faciales basées sur l’IA. Les chercheurs ont créé des processus d’apprentissage automatique personnalisés qui ont permis au logiciel de l’entreprise de s’adapter aux signaux envoyés par le cerveau de la femme alors qu’elle essayait de parler et de les convertir en mouvements sur le visage de l’avatar, ouvrant et fermant la mâchoire, les lèvres dépassant. et le sac à main et la langue montent et descendent, ainsi que les mouvements du visage pour le bonheur, la tristesse et la surprise.
« Nous rattrapons les connexions entre le cerveau et les voies vocales qui ont été coupées par l’accident vasculaire cérébral », a déclaré Kaylo Littlejohn, étudiante diplômée travaillant avec Chang et Gopala Anumanchipalli, Ph.D., professeur de génie électrique et d’informatique. sciences à l’UC Berkeley. « Lorsque le sujet a utilisé ce système pour la première fois pour parler et déplacer le visage de l’avatar en tandem, je savais que cela allait avoir un réel impact. »
Une prochaine étape importante pour l’équipe consiste à créer une version sans fil qui ne nécessiterait pas que l’utilisateur soit physiquement connecté au BCI.
« Donner aux gens la possibilité de contrôler librement leurs propres ordinateurs et téléphones grâce à cette technologie aurait des effets profonds sur leur indépendance et leurs interactions sociales », a déclaré le co-premier auteur David Moses, Ph.D., professeur adjoint en chirurgie neurologique.
