Un visage robotique établit un contact visuel et utilise l'IA pour anticiper et reproduire le sourire d'une personne avant qu'il ne se produise
Que feriez-vous si vous vous approchiez d’un robot avec une tête humaine et qu’il vous souriait en premier ? Vous auriez probablement le sourire en retour et vous auriez peut-être l'impression que vous interagissez véritablement tous les deux. Mais comment un robot sait-il faire cela ? Ou une meilleure question, comment sait-il vous faire sourire en retour ?
Alors que nous nous habituons aux robots adeptes de la communication verbale, en partie grâce aux progrès des grands modèles de langage comme ChatGPT, leurs compétences en communication non verbale, en particulier les expressions faciales, sont loin derrière. Concevoir un robot capable non seulement de créer un large éventail d'expressions faciales, mais également de savoir quand les utiliser a été une tâche ardue.
Relever le défi
Le Creative Machines Lab de Columbia Engineering travaille sur ce défi depuis plus de cinq ans. Dans une nouvelle étude publiée aujourd'hui dans Robotique scientifique, le groupe dévoile Emo, un robot qui anticipe les expressions faciales et les exécute simultanément avec un humain. Il a même appris à prédire un sourire à venir environ 840 millisecondes avant que la personne ne sourie, et à co-exprimer le sourire simultanément avec la personne.
L'équipe, dirigée par Hod Lipson, un chercheur de premier plan dans les domaines de l'intelligence artificielle (IA) et de la robotique, a été confrontée à deux défis : comment concevoir mécaniquement un visage robotique polyvalent et expressif qui implique du matériel et des mécanismes d'actionnement complexes, et savoir quelle expression générer afin qu’ils paraissent naturels, opportuns et authentiques.
L'équipe a proposé de former un robot pour anticiper les futures expressions faciales des humains et les exécuter simultanément avec une personne. Le timing de ces expressions était critique : le mimétisme facial retardé semble fallacieux, mais la co-expression faciale semble plus authentique car elle nécessite de déduire correctement l'état émotionnel de l'humain pour une exécution rapide.
Comment Emo se connecte avec vous
Emo est une tête de type humain avec un visage équipé de 26 actionneurs permettant une large gamme d'expressions faciales nuancées. La tête est recouverte d'une peau en silicone souple avec un système de fixation magnétique, permettant une personnalisation facile et un entretien rapide. Pour des interactions plus réalistes, les chercheurs ont intégré des caméras haute résolution dans la pupille de chaque œil, permettant à Emo d'établir un contact visuel, crucial pour la communication non verbale.
L’équipe a développé deux modèles d’IA : un qui prédit les expressions faciales humaines en analysant les changements subtils du visage cible et un autre qui génère des commandes motrices à l’aide des expressions faciales correspondantes.
Pour entraîner le robot à créer des expressions faciales, les chercheurs ont placé Emo devant la caméra et l'ont laissé effectuer des mouvements aléatoires. Après quelques heures, le robot a appris la relation entre ses expressions faciales et les commandes motrices, un peu comme les humains pratiquent leurs expressions faciales en se regardant dans le miroir. C'est ce que l'équipe appelle « l'auto-modélisation », semblable à notre capacité humaine à imaginer à quoi nous ressemblons lorsque nous produisons certaines expressions.
Ensuite, l’équipe a diffusé des vidéos d’expressions faciales humaines pour qu’Emo les observe image par image. Après un entraînement de quelques heures, Emo pouvait prédire les expressions faciales des gens en observant de minuscules changements sur leur visage lorsqu'ils commençaient à avoir l'intention de sourire.
« Je pense que prédire avec précision les expressions faciales humaines est une révolution dans le domaine de l'HRI. Traditionnellement, les robots n'ont pas été conçus pour prendre en compte les expressions humaines lors des interactions. Désormais, le robot peut intégrer les expressions faciales humaines comme feedback », a déclaré l'auteur principal de l'étude, Yuhang Hu, qui est titulaire d'un doctorat. étudiant à Columbia Engineering dans le laboratoire de Lipson.
« Lorsqu'un robot exprime des co-expressions avec des personnes en temps réel, cela améliore non seulement la qualité de l'interaction, mais contribue également à instaurer la confiance entre les humains et les robots. À l'avenir, lorsqu'il interagira avec un robot, il observera et interprétera vos expressions faciales. , tout comme une vraie personne.
Et après
Les chercheurs travaillent désormais à intégrer la communication verbale, en utilisant un grand modèle de langage comme ChatGPT dans Emo. Alors que les robots deviennent de plus en plus capables de se comporter comme des humains, Lipson est bien conscient des considérations éthiques associées à cette nouvelle technologie.
« Bien que cette capacité laisse présager une pléthore d'applications positives, allant des assistants à domicile aux aides pédagogiques, il incombe aux développeurs et aux utilisateurs de faire preuve de prudence et de considérations éthiques », déclare Lipson, James et Sally Scapa, professeur d'innovation au Département de génie mécanique. à Columbia Engineering, co-directeur du Makerspace à Columbia et membre du Data Science Institute
« Mais c'est aussi très excitant : en faisant progresser des robots capables d'interpréter et d'imiter avec précision les expressions humaines, nous nous rapprochons d'un avenir où les robots peuvent s'intégrer de manière transparente dans notre vie quotidienne, offrant de la compagnie, de l'assistance et même de l'empathie. Imaginez un monde où interagir avec un robot est aussi naturel et confortable que parler à un ami. »
