Un système qui permet aux robots domestiques de cuisiner en collaboration avec les humains

Les robots domestiques pourraient aider les humains à accomplir diverses tâches ménagères et manuelles, allant de la vaisselle ou de la lessive à la cuisine, au nettoyage et au rangement. Alors que de nombreux roboticiens et informaticiens ont tenté d'améliorer les compétences des robots domestiques ces dernières années, bon nombre des robots développés jusqu'à présent sont toujours incapables d'accomplir des tâches plus complexes et créatives, comme cuisiner en collaboration avec des utilisateurs humains.

Des chercheurs de l'Université Cornell ont récemment développé MOSAIC, une architecture modulaire qui permet aux robots d'effectuer des tâches ménagères complexes impliquant une interaction étroite avec les humains, notamment la cuisine interactive. Ce système, présenté dans un article publié sur le arXiv serveur de préimpression, a été testé dans une série d'expériences réelles, montrant qu'il pouvait aider les humains à cuisiner diverses recettes.

« Nous présentons MOSAIC, une architecture modulaire permettant aux robots domestiques d'effectuer des tâches collaboratives complexes, telles que cuisiner avec des utilisateurs quotidiens », ont écrit Huaxiaoyue Wang, Kushal Kedia et leurs collègues dans leur article. « MOSAIC collabore étroitement avec les humains, interagit avec les utilisateurs en utilisant un langage naturel, coordonne plusieurs robots et gère un vocabulaire ouvert d'objets du quotidien. »

Le système proposé par les chercheurs est modulaire, ce qui signifie qu'il est composé de différentes parties ou modules qui abordent différents aspects de la tâche à accomplir. Les composants du système peuvent être largement divisés en un planificateur de tâches interactif, une architecture pour identifier les objets et planifier les mouvements des robots et un modèle conçu pour prédire les mouvements des humains.

« À la base, MOSAIC utilise la modularité : il exploite plusieurs modèles pré-entraînés à grande échelle pour des tâches générales telles que la reconnaissance du langage et de l'image, tout en utilisant des modules rationalisés conçus pour un contrôle spécifique à une tâche », expliquent les chercheurs dans leur article.

Wang, Kedia et leurs collègues ont jusqu'à présent évalué les performances de leur système dans 60 essais expérimentaux, en utilisant deux systèmes robotiques différents, à savoir le manipulateur mobile Stretch Robot RE1 et le manipulateur de table Franka Emilka Research 3. Au cours de ces essais, les deux manipulateurs robotiques ont étroitement collaboré. avec un utilisateur humain pour préparer six recettes relativement simples, dont deux types différents de salade, trois types différents de soupe et un sandwich au thon.

« Nous testons également de manière approfondie des modules individuels avec 180 épisodes de sélection visuomotrice, 60 épisodes de prévision des mouvements humains et 46 évaluations d'utilisateurs en ligne du planificateur de tâches », ont écrit les chercheurs. « Nous montrons que MOSAIC est capable de collaborer efficacement avec les humains en exécutant le système global de bout en bout avec un véritable utilisateur humain, en réalisant 68,3 % (41/60) d'essais de cuisine collaboratifs de 6 recettes différentes avec un taux d'achèvement de sous-tâches de 91,6. %. »

Dans les expériences culinaires interactives menées par les chercheurs, MOSAIC a obtenu de très bons résultats, réalisant avec succès environ les deux tiers des recettes préparées avec des humains. MOSAIC pourrait bientôt servir d’inspiration à d’autres études de recherche, contribuant ainsi à l’avancement des systèmes robotiques d’assistance conçus pour être déployés dans les environnements domestiques.

À l'avenir, Wang, Kedia et leurs collègues pourraient encore améliorer certains des composants sous-jacents de leur système, afin d'améliorer encore ses performances dans la cuisine collaborative et dans d'autres tâches interactives. Par exemple, le système s’est avéré actuellement performant sur des sous-tâches manuelles simples, telles que ramasser et déplacer des objets, mais il n’a pas encore été appliqué à des sous-tâches plus avancées. Cette limitation pourrait être abordée et améliorée dans leurs prochaines études.

« L'extension à des tâches plus complexes telles que couper, rouler et étaler est moins triviale », écrivent les chercheurs dans leur article. « Bien que notre système soit testé de manière approfondie sur différentes recettes, nos expériences sont limitées à un seul environnement de cuisine. Les travaux futurs tenteront de mesurer les limites de la capacité de généralisation de notre système face à un plus large éventail d'environnements de cuisine. »