Une méthode plus simple pour enseigner de nouvelles compétences aux robots

Alors que les roboticiens ont introduit des systèmes de plus en plus sophistiqués au cours des dernières décennies, apprendre à ces systèmes à accomplir de nouvelles tâches avec succès et de manière fiable s'est souvent révélé un défi. Une partie de cette formation consiste à mapper des données de grande dimension, telles que des images collectées par des caméras RVB embarquées, à des actions robotiques orientées vers un objectif.

Des chercheurs de l'Imperial College de Londres et du Dyson Robot Learning Lab ont récemment introduit Render and Diffuse (R&D), une méthode qui unifie les actions de robots de bas niveau et les images RBG à l'aide de rendus 3D virtuels d'un système robotique. Cette méthode, présentée dans un article publié sur le arXiv serveur de préimpression, pourrait à terme faciliter le processus d'enseignement de nouvelles compétences aux robots, réduisant ainsi la grande quantité de démonstrations humaines requises par de nombreuses approches existantes.

« Notre récent article avait pour objectif de permettre aux humains d'enseigner efficacement de nouvelles compétences aux robots, sans avoir besoin de démonstrations approfondies », a déclaré Vitalis Vosylius, doctorant en dernière année. étudiant à l'Imperial College de Londres et auteur principal. « Les techniques existantes sont gourmandes en données et ont du mal à généraliser spatialement, et fonctionnent mal lorsque les objets sont positionnés différemment des démonstrations. En effet, prédire des actions précises sous forme de séquence de nombres à partir d'images RVB est extrêmement difficile lorsque les données sont limitées. »

Lors d'un stage chez Dyson Robot Learning, Vosylius a travaillé sur un projet qui a abouti au développement de la R&D. Ce projet visait à simplifier le problème d'apprentissage des robots, leur permettant de prédire plus efficacement les actions qui leur permettront d'accomplir diverses tâches.

Contrairement à la plupart des systèmes robotiques, lors de l’apprentissage de nouvelles compétences manuelles, les humains n’effectuent pas de calculs approfondis pour déterminer l’amplitude de mouvement de leurs membres. Au lieu de cela, ils essaient généralement d’imaginer comment leurs mains devraient bouger pour accomplir efficacement une tâche spécifique.

« Notre méthode, Render and Diffuse, permet aux robots de faire quelque chose de similaire : « imaginer » leurs actions dans l'image en utilisant des rendus virtuels de leur propre incarnation », a expliqué Vosylius. « Représenter ensemble les actions et les observations des robots sous forme d'images RVB nous permet d'enseigner aux robots diverses tâches avec moins de démonstrations et de le faire avec des capacités de généralisation spatiale améliorées. »

Pour qu’un robot apprenne à accomplir une nouvelle tâche, il doit d’abord prédire les actions qu’il doit effectuer en fonction des images capturées par ses capteurs. La méthode R&D permet essentiellement aux robots d’apprendre plus efficacement cette cartographie entre images et actions.

« Comme son nom l'indique, notre méthode comporte deux éléments principaux », a déclaré Vosylius. « Tout d'abord, nous utilisons des rendus virtuels du robot, permettant au robot d' »imaginer » ses actions de la même manière qu'il voit l'environnement. Nous le faisons en rendant le robot dans la configuration dans laquelle il se retrouverait s'il devait prendre certaines mesures. Actions.

« Deuxièmement, nous utilisons un processus de diffusion appris qui affine de manière itérative ces actions imaginées, aboutissant finalement à une séquence d'actions que le robot doit entreprendre pour accomplir la tâche. »

Grâce à des modèles 3D de robots et à des techniques de rendu largement disponibles, la R&D peut grandement simplifier l’acquisition de nouvelles compétences tout en réduisant considérablement les besoins en données de formation. Les chercheurs ont évalué leur méthode dans une série de simulations et ont constaté qu’elle améliorait les capacités de généralisation des politiques robotiques.

Ils ont également démontré les capacités de leur méthode à accomplir efficacement six tâches quotidiennes à l'aide d'un véritable robot. Ces tâches consistaient notamment à poser le siège des toilettes, à balayer un placard, à ouvrir une boîte, à placer une pomme dans un tiroir et à ouvrir et fermer un tiroir.

« Le fait que l'utilisation de rendus virtuels du robot pour représenter ses actions conduit à une efficacité accrue des données est vraiment passionnant », a déclaré Vosylius. « Cela signifie qu'en représentant intelligemment les actions des robots, nous pouvons réduire considérablement les données nécessaires à l'entraînement des robots, réduisant ainsi la nécessité de collecter de grandes quantités de démonstrations. »

À l’avenir, la méthode introduite par cette équipe de chercheurs pourrait être testée davantage et appliquée à d’autres tâches que les robots pourraient accomplir. De plus, les résultats prometteurs des chercheurs pourraient inspirer le développement d’approches similaires pour simplifier la formation d’algorithmes pour les applications robotiques.

« La capacité de représenter les actions des robots dans des images ouvre des possibilités passionnantes pour les recherches futures », a ajouté Vosylius. « Je suis particulièrement enthousiaste à l'idée de combiner cette approche avec de puissants modèles de base d'images formés sur des données Internet massives. Cela pourrait permettre aux robots d'exploiter les connaissances générales capturées par ces modèles tout en étant capables de raisonner sur les actions des robots de bas niveau. »