Un outil d’IA génère une vidéo à partir de l’activité cérébrale

« Alexa, rejoue ce rêve que j’ai eu à propos de Kirsten la semaine dernière. » C’est une commande qui n’est peut-être pas trop éloignée dans le futur, alors que les chercheurs se rapprochent de la technologie qui peut puiser dans nos esprits et récupérer l’imagerie de nos pensées.

Des chercheurs de l’Université nationale de Singapour et de l’Université chinoise de Hong Kong ont annoncé la semaine dernière qu’ils avaient développé un processus capable de générer une vidéo à partir de scanners cérébraux. La recherche est publiée sur le arXiv serveur de préimpression.

À l’aide d’un processus appelé imagerie par résonance magnétique fonctionnelle (IRMf), les chercheurs Jiaxin Qing, Zijiao Chen et Juan Helen Zhou ont couplé les données récupérées par imagerie avec le modèle d’apprentissage en profondeur Stable Diffusion pour créer des vidéos fluides et de haute qualité.

Des recréations réussies d’images fixes glanées à partir de l’activité cérébrale grâce à la diffusion stable assistée par l’IA, couramment utilisée pour la génération d’images, ont été signalées ces derniers mois. Mais, comme Qing et son équipe l’ont rapporté, la récupération d’images visuelles continues pose un défi particulier.

Le processus d’IRMf exploite généralement les signaux dépendants du niveau d’oxygénation du sang (BOLD) et capture des images de l’activité cérébrale toutes les quelques secondes. Cela donnerait des images vidéo de mauvaise qualité. Un taux de capture vidéo standard est de 30 images par seconde.

« Comprendre les informations cachées dans nos activités cérébrales complexes est un grand casse-tête en neurosciences cognitives », a déclaré Qing. « La tâche de recréer la vision humaine à partir d’enregistrements cérébraux, en particulier à l’aide d’outils non invasifs comme l’IRMf, est une tâche passionnante mais difficile. »

Son équipe a réalisé une vidéo de haut calibre avec son modèle Mind-Video. Décrit comme « un pipeline à deux modules conçu pour combler le fossé entre le décodage cérébral image et vidéo », son décodeur IRMf apprend progressivement à partir des signaux cérébraux acquis, s’entraîne avec des bases de données d’images et effectue des réglages fins.

Les résultats étaient des vidéos de haute qualité, ont-ils déclaré, avec une dynamique de mouvement et de scène à un taux de précision de 85%.

Qing dit que leur travail est prometteur pour de futures applications de grands modèles « des neurosciences aux interfaces cerveau-ordinateur ».

L’utilisation de l’IA avec l’IRM et l’EGM (électromyogramme) pour étudier l’imagerie, l’activité cérébrale et les mouvements musculaires ouvre de nouvelles perspectives sur le fonctionnement de l’esprit. Shinji Nishimoto, neuroscientifique à l’Université d’Osaka, affirme que ces processus pourraient un jour être utilisés pour capturer des pensées et des rêves.

Le chercheur sur les rêves Daniel Oldis, travaillant avec un collègue du Cognitive Neuroscience Lab de l’Université du Texas à Austin, travaille sur la technologie d’IRM d’enregistrement des rêves qui suit l’activité cérébrale et les impulsions nerveuses dans les muscles pour définir les images, la parole et les mouvements dans les rêves.

« C’est comme les premières années de la course à l’espace », a-t-il récemment déclaré. « Mais dans ce cas, nous allons dans l’espace du rêve. »

Une personne moyenne fait jusqu’à six rêves par nuit, mais en oublie 90 % quelques minutes après son réveil. La perspective de capturer un enregistrement permanent de rêves est exaltante.

Les rêves nous ont mystifiés pendant des siècles. Dans les premières cultures, les rêves étaient considérés comme des messages de Dieu. Au XXe siècle, Freud a introduit l’idée de pulsions sexuelles et émotionnelles refoulées derrière nos rêves.

Certaines de nos plus grandes inspirations proviennent de ces voyages nocturnes que nous effectuons tous chaque nuit de notre vie.

La mélodie de « Yesterday » des Beatles, nommée meilleure chanson du XXe siècle par un sondage de la BBC Radio, est venue à Paul McCartney dans un rêve. Le célèbre riff d’ouverture de trois notes sur le tube géant des Rolling Stones « Satisfaction » est venu à Keith Richards au milieu de la nuit; il s’est réveillé pour enregistrer une version approximative de la chanson, a marmonné endormi « Je ne peux pas obtenir de satisfaction », s’est rendormi et n’a réalisé ce qu’il avait noté qu’en écoutant la cassette ce matin-là.

Salvator Dali a qualifié les œuvres surréalistes fantastiques telles que sa « Persistance de la mémoire » de « photographies de rêve peintes à la main ».

Et un étudiant nerveux, craignant que son admission à l’Université de Stanford ne soit une erreur, a fait un rêve anxieux dans lequel il a téléchargé l’intégralité du Web sur son ordinateur. À son réveil, il se lance dans un projet qui attirera un jour 89 milliards de téléspectateurs par mois et répondra à 99 000 demandes par seconde. Son nom : Larry Page. Sa création : Google.

Enregistrer et diffuser nos rêves – des cauchemars aux idées inspirantes qui changent la donne – n’est peut-être qu’un rêve pour le moment.

Mais comme l’indiquent les travaux de Qing, Oldis et d’autres, pas pour longtemps.