Comment un robot d’assistance à l’alimentation est passé de la collecte de salades de fruits à des repas complets

Selon des données de 2010, environ 1,8 million de personnes aux États-Unis ne peuvent pas manger seules. Pourtant, former un robot pour nourrir les humains présente toute une série de défis pour les chercheurs. Les aliments se présentent sous une variété presque infinie de formes et d’états (liquide, solide, gélatineux), et chaque personne a un ensemble unique de besoins et de préférences.

Une équipe dirigée par des chercheurs de l’Université de Washington a créé un ensemble de 11 actions qu’un bras robotique peut effectuer pour ramasser presque tous les aliments accessibles à la fourchette. Lors des tests avec cet ensemble d’actions, le robot a ramassé les aliments plus de 80 % du temps, ce qui constitue la référence spécifiée par l’utilisateur pour une utilisation à domicile. Le petit ensemble d’actions permet au système d’apprendre à sélectionner de nouveaux aliments au cours d’un seul repas.

L’équipe a présenté ses conclusions le 7 novembre lors de la conférence 2023 sur l’apprentissage robotique à Atlanta.

UW News s’est entretenu avec les co-auteurs principaux Ethan K. Gordon et Amal Nanavati, étudiants au doctorat UW à la Paul G. Allen School of Computer Science & Engineering, et avec le co-auteur Taylor Kessler Faulkner, chercheur postdoctoral UW à la Allen School, sur les succès et les défis de l’alimentation assistée par robot.

Le Personal Robotics Lab travaille depuis plusieurs années sur l’alimentation assistée par robot. Quelle est l’avancée de ce papier ?

Ethan K. Gordon : J’ai rejoint le Personal Robotics Lab fin 2018 lorsque Siddhartha Srinivasa, professeur à l’Allen School et auteur principal de notre nouvelle étude, et son équipe ont créé la première itération de son système robot pour les applications d’assistance. Le système était monté sur un fauteuil roulant et pouvait ramasser une variété de fruits et légumes dans une assiette. Il a été conçu pour identifier la façon dont une personne était assise et porter la nourriture directement à sa bouche. Depuis, de nombreuses itérations ont eu lieu, impliquant principalement l’identification d’une grande variété d’aliments dans l’assiette. Désormais, l’utilisateur équipé de son appareil fonctionnel peut cliquer sur une image dans l’application, un raisin par exemple, et le système peut l’identifier et la récupérer.

Taylor Kessler Faulkner : Nous avons également élargi l’interface. Quels que soient les systèmes d’accessibilité que les gens utilisent pour interagir avec leur téléphone (principalement la navigation à commande vocale ou buccale), ils peuvent les utiliser pour contrôler l’application.

ECG : Dans cet article que nous venons de présenter, nous sommes arrivés au point où nous pouvons capturer presque tout ce qu’une fourchette peut gérer. Nous ne pouvons donc pas aller chercher de la soupe, par exemple. Mais le robot peut tout gérer, de la purée de pommes de terre ou des nouilles à une salade de fruits en passant par une véritable salade de légumes, en passant par une pizza prédécoupée, un sandwich ou des morceaux de viande.

Lors de travaux précédents sur la salade de fruits, nous avons examiné quelle trajectoire le robot devait suivre s’il recevait une image de la nourriture, mais l’ensemble des trajectoires que nous lui avons données était assez limité. Nous modifiions simplement le pas de la fourche. Si vous voulez ramasser un raisin, par exemple, les dents de la fourchette doivent descendre tout droit, mais pour une banane, elles doivent être inclinées, sinon elle glissera. Ensuite, nous avons travaillé sur la force dont nous avions besoin pour appliquer différents aliments.

Dans ce nouvel article, nous avons examiné la manière dont les gens récupèrent la nourriture et avons utilisé ces données pour générer un ensemble de trajectoires. Nous avons trouvé un petit nombre de mouvements que les gens utilisent réellement pour manger et avons retenu 11 trajectoires. Ainsi, plutôt que de simplement effectuer un simple mouvement de haut en bas ou d’entrée sous un angle, il utilise des mouvements de ramassage ou des mouvements à l’intérieur de l’aliment pour augmenter la force du contact. Ce petit nombre disposait encore de la couverture nécessaire pour acheter une gamme beaucoup plus large d’aliments.

Nous pensons que le système est désormais à un point où il peut être déployé pour être testé sur des personnes extérieures au groupe de recherche. Nous pouvons inviter un utilisateur à l’UW et placer le robot soit sur un fauteuil roulant, s’il a l’appareil de montage prêt, soit sur un trépied à côté de son fauteuil roulant, et parcourir un repas entier.

Pour vous, chercheurs, quels sont les défis essentiels à relever pour faire de ce produit quelque chose que les gens pourraient utiliser quotidiennement chez eux ?

EKG : Nous avons jusqu’à présent parlé du problème du ramassage de la nourriture, et d’autres améliorations peuvent être apportées ici. Ensuite, il y a tout un autre problème : amener la nourriture à la bouche d’une personne, ainsi que la façon dont la personne interagit avec le robot et le degré de contrôle qu’elle a sur ce système au moins partiellement autonome.

TKF : Au cours des prochaines années, nous espérons personnaliser le robot pour différentes personnes. Tout le monde mange un peu différemment. Amal a réalisé un travail vraiment intéressant sur les repas sociaux, qui a mis en évidence la façon dont les préférences des gens sont basées sur de nombreux facteurs, tels que leur situation sociale et physique. Nous nous demandons donc : comment pouvons-nous obtenir l’avis des personnes qui mangent ? Et comment le robot peut-il utiliser ces informations pour mieux s’adapter à la façon dont chacun souhaite manger ?

Amal Nanavati : Il existe plusieurs dimensions différentes que nous pourrions vouloir personnaliser. L’un concerne les besoins de l’utilisateur : la distance à laquelle l’utilisateur peut bouger son cou a une incidence sur la distance à laquelle la fourchette doit l’atteindre. Certaines personnes ont une force différentielle de différents côtés de leur bouche, le robot devra donc peut-être les nourrir d’un côté particulier de leur bouche.

Il y a aussi un aspect de l’environnement physique. Les utilisateurs disposent déjà de nombreuses technologies d’assistance, souvent montées autour de leur visage si c’est la partie principale de leur corps qui est mobile. Ces technologies peuvent être utilisées pour contrôler leur fauteuil roulant, interagir avec leur téléphone, etc. Bien entendu, nous ne voulons pas que le robot interfère avec l’une de ces technologies d’assistance lorsqu’il s’approche de sa bouche.

Il y a aussi des considérations sociales. Par exemple, si je discute avec quelqu’un ou si je regarde la télévision à la maison, je ne veux pas que le bras du robot vienne juste devant mon visage. Enfin, il y a les préférences personnelles. Par exemple, parmi les utilisateurs qui peuvent tourner un peu la tête, certains préfèrent que le robot vienne de face pour pouvoir garder un œil sur le robot lorsqu’il entre. D’autres trouvent cela effrayant ou distrayant et préfèrent que le robot vienne de face. la morsure leur vient du côté.

Une direction de recherche clé consiste à comprendre comment nous pouvons créer des moyens intuitifs et transparents permettant à l’utilisateur de personnaliser le robot selon ses propres besoins. Nous envisageons des compromis entre les méthodes de personnalisation dans lesquelles l’utilisateur effectue la personnalisation et les formes plus centrées sur le robot où, par exemple, le robot essaie quelque chose et dit : « Cela vous a-t-il plu ? Oui ou non ? L’objectif est de comprendre ce que pensent les utilisateurs de ces différentes méthodes de personnalisation et lesquelles aboutissent à des trajectoires plus personnalisées.

Que doit comprendre le public à propos de l’alimentation assistée par robot, à la fois en général et en particulier dans le cadre du travail effectué par votre laboratoire ?

EKG : Il est important de ne pas se limiter aux défis techniques, mais également à l’échelle émotionnelle du problème. Ce n’est pas un petit nombre de personnes qui ont besoin d’aide pour manger. Il existe différents chiffres, mais cela représente plus d’un million de personnes aux États-Unis. Il faut manger chaque jour. Et exiger quelqu’un d’autre à chaque fois que vous devez accomplir cet acte intime et très nécessaire peut donner aux gens le sentiment d’être un fardeau ou de se sentir gênés. Ainsi, toute la communauté qui travaille sur les appareils et accessoires fonctionnels essaie vraiment de contribuer à favoriser un sentiment d’indépendance pour les personnes qui ont ce genre de limitations de mobilité physique.

AN : Même ces chiffres à sept chiffres ne couvrent pas tout le monde. Il existe des handicaps permanents, comme une lésion de la moelle épinière, mais il existe également des handicaps temporaires, comme une fracture du bras. Nous pouvons tous être confrontés à un handicap à un moment donné en vieillissant et nous voulons nous assurer que nous disposons des outils nécessaires pour garantir que nous pouvons tous vivre une vie digne et indépendante. Malheureusement, même si des technologies comme celle-ci améliorent considérablement la qualité de vie des gens, il est incroyablement difficile de les faire couvrir par les compagnies d’assurance américaines. Je pense que davantage de personnes connaissant l’amélioration potentielle de la qualité de vie ouvriront, je l’espère, un meilleur accès.

Les autres co-auteurs de l’article étaient Ramya Challa, qui a terminé cette recherche en tant qu’étudiant de premier cycle à l’école Allen et qui est maintenant à l’université d’État de l’Oregon, et Bernie Zhu, doctorant à l’UW à l’école Allen.