La combinaison de commandes informatiques et de texte naturel jette un nouvel éclairage sur la façon dont le cerveau traite le langage

Approcher. Le crédit: Science computationnelle de la nature (2022). DOI : 10.1038/s43588-022-00354-6

Les humains accomplissent une quantité phénoménale de tâches en combinant des éléments d’information. Nous percevons des objets en combinant des contours, catégorisons des scènes en combinant des objets, interprétons des événements en combinant des actions et comprenons des phrases en combinant des mots.

Mais les chercheurs n’ont pas encore une compréhension claire de la façon dont le cerveau forme et maintient le sens de l’ensemble, comme une phrase, à partir de ses parties. Les chercheurs de l’Université Carnegie Mellon du département d’apprentissage automatique (MLD) de la School of Computer Science (SCS) ont jeté un nouvel éclairage sur les processus cérébraux qui soutiennent la signification émergente des mots combinés.

Mariya Toneva, ancienne MLD Ph.D. étudiant maintenant professeur à l’Institut Max Planck pour les systèmes logiciels, a travaillé avec Leila Wehbe, professeure adjointe en MLD, et Tom Mitchell, professeur à l’Université des fondateurs en SCS, pour étudier quelles régions du cerveau traitaient le sens des mots combinés et comment le cerveau a maintenu et mis à jour le sens des mots.

Ce travail pourrait contribuer à une compréhension plus complète de la façon dont le cerveau traite, maintient et met à jour le sens des mots, et pourrait rediriger l’attention de la recherche vers des zones du cerveau adaptées aux futures neurotechnologies portables, telles que des appareils capables de décoder ce qu’une personne essaie. dire directement de l’activité cérébrale. Ces appareils peuvent aider les personnes atteintes de maladies comme la maladie de Parkinson ou la sclérose en plaques qui limitent le contrôle musculaire.

Toneva, Mitchell et Wehbe ont utilisé des réseaux de neurones pour construire des modèles informatiques capables de prédire les zones du cerveau qui traitent le nouveau sens des mots lorsqu’ils sont combinés. Ils ont testé ce modèle en enregistrant l’activité cérébrale de huit personnes alors qu’elles lisaient un chapitre de « Harry Potter à l’école des sorciers ».

Les résultats suggèrent que certaines régions du cerveau traitent à la fois le sens de mots individuels et le sens de mots combinés, tandis que d’autres ne traitent que le sens de mots individuels. Surtout, les auteurs ont également découvert que l’un des outils d’enregistrement de l’activité neuronale qu’ils utilisaient, la magnétoencéphalographie (MEG), ne capturait pas un signal reflétant la signification des mots combinés.

Étant donné que les futurs dispositifs de neurotechnologie portables pourraient utiliser des outils d’enregistrement similaires au MEG, une limitation potentielle est leur incapacité à détecter le sens des mots combinés, ce qui pourrait affecter leur capacité à aider les utilisateurs à produire du langage.

Le travail de l’équipe s’appuie sur des recherches antérieures de Wehbe et Mitchell qui ont utilisé l’imagerie par résonance magnétique fonctionnelle pour identifier les parties du cerveau engagées lorsque les gens lisent un chapitre du même livre Potter. Le résultat a été le premier modèle informatique intégré de lecture, identifiant quelles parties du cerveau sont responsables de sous-processus tels que l’analyse des phrases, la détermination du sens des mots et la compréhension des relations entre les caractères.

Les résultats sont publiés dans la revue Science computationnelle de la nature.