Un système de détection et d’apprentissage multimodal intégré pourrait donner de nouvelles capacités aux robots
Pour aider les humains dans les tâches ménagères et autres tâches manuelles quotidiennes, les robots devraient être capables de manipuler efficacement des objets dont la composition, la forme et la taille varient. Les capacités de manipulation des robots se sont considérablement améliorées au cours des dernières années, en partie grâce au développement de caméras et de capteurs tactiles de plus en plus sophistiqués.
Des chercheurs de l'Université de Columbia ont développé un nouveau système qui capture simultanément des informations visuelles et tactiles. Le capteur tactile qu'ils ont développé, présenté dans un article présenté lors de la Conférence sur l'apprentissage des robots (CoRL) 2024 à Munich, pourrait être intégré aux pinces et aux mains robotiques, pour améliorer davantage les compétences de manipulation des robots présentant différentes structures corporelles.
Le document a été publié le arXiv serveur de préimpression.
« Les humains perçoivent l'environnement à partir de multiples modalités sensorielles, parmi lesquelles le toucher joue un rôle essentiel dans la compréhension des interactions physiques », a déclaré Yunzhu Li, auteur principal de l'article, à Tech Xplore. « Notre objectif est d'équiper les robots de capacités similaires, leur permettant de détecter l'environnement à la fois par la vision et le toucher pour des tâches de manipulation robotique fines. »
Dans le cadre de leur étude, les chercheurs ont entrepris de développer un système de détection multimodal qui pourrait être utilisé pour recueillir à la fois des données visuelles, qui peuvent être utilisées pour estimer la position d'objets dans son champ de vision et leur géométrie, ainsi que informations tactiles, telles que l'emplacement du contact, la force et les modèles d'interaction locaux.
Le système intégré de détection et d'apprentissage multimodal qu'ils ont développé, appelé 3D-ViTac, pourrait donner aux robots de nouvelles capacités de détection, leur permettant de mieux s'attaquer aux tâches de manipulation du monde réel.
« Par rapport aux solutions de pointe existantes, notamment les capteurs optiques, notre capteur est aussi fin qu'un morceau de papier, flexible, évolutif et plus robuste pour une utilisation à long terme et une collecte de données à grande échelle », a expliqué Li.
« Couplé à l'observation visuelle, nous avons développé un cadre d'imitation de bout en bout qui permet aux robots d'effectuer diverses tâches de manipulation, démontrant des améliorations significatives dans les interactions sûres avec des objets fragiles et des tâches à long terme impliquant une manipulation manuelle. »
Li et ses collègues ont testé leur capteur et le cadre d'apprentissage par imitation de bout en bout qu'ils ont développé dans une série d'expériences utilisant un véritable système robotique. Plus précisément, ils ont intégré deux de leurs dispositifs de détection en forme de feuille sur chacune des mains en forme d'aileron d'un préhenseur robotique.
L'équipe a ensuite testé les performances de la pince sur quatre tâches de manipulation difficiles, notamment cuire un œuf à la vapeur, placer des raisins sur une assiette, saisir une clé hexagonale et servir un sandwich. Les résultats de ces premiers tests étaient très prometteurs, car leur capteur semblait améliorer la capacité de la pince à accomplir avec succès toutes les tâches.
« Nous démontrons que notre cadre d'apprentissage par imitation visuo-tactile proposé permet même aux robots peu coûteux d'effectuer des tâches de manipulation précises », a déclaré Li. « Il surpasse considérablement les approches basées sur la vision seule, en particulier dans la manipulation d'objets fragiles et dans l'obtention d'une haute précision dans les manipulations fines. »
Le nouveau capteur développé par cette équipe de chercheurs pourrait bientôt être déployé sur d’autres systèmes robotiques et évalué sur un éventail plus large de tâches de manipulation d’objets nécessitant des niveaux de précision élevés. Pendant ce temps, Li et ses collègues prévoient de développer des méthodes de simulation et des stratégies d'intégration qui pourraient rendre leur capteur plus facile à appliquer et à tester sur d'autres robots.
« Dans nos prochaines études, nous visons à développer des techniques de simulation pour les signaux tactiles, à explorer les moyens d'intégrer le capteur dans des mains robotiques adroites et des surfaces à plus grande échelle (par exemple, la peau d'un robot) et à démocratiser la détection tactile en robotique », a ajouté Li.
« Cela facilitera la collecte de données à grande échelle et contribuera à la création de modèles de base robotiques multimodaux qui comprennent mieux les interactions physiques par le toucher. »
