Système permet aux robots d’identifier les propriétés d’un objet grâce à la manipulation

Une ordure de nettoyage humain d’un grenier peut souvent deviner le contenu d’une boîte simplement en le ramassant et en le secouant, sans avoir besoin de voir ce qu’il y a. Des chercheurs du MIT, d’Amazon Robotics et de l’Université de la Colombie-Britannique ont appris aux robots à faire quelque chose de similaire.

Ils ont développé une technique qui permet aux robots d’utiliser uniquement des capteurs internes pour en apprendre davantage sur le poids, la douceur ou le contenu d’un objet en le ramassant et en le tremblant doucement. Avec leur méthode, qui ne nécessite pas d’outils de mesure ou de caméras externes, le robot peut deviner avec précision les paramètres comme la masse d’un objet en quelques secondes.

Cette technique à faible coût pourrait être particulièrement utile dans les applications où les caméras peuvent être moins efficaces, comme le tri des objets dans un sous-sol sombre ou le nettoyage des décombres à l’intérieur d’un bâtiment qui s’est partiellement effondré après un tremblement de terre.

La clé de leur approche est un processus de simulation qui intègre des modèles du robot et l’objet pour identifier rapidement les caractéristiques de cet objet lorsque le robot interagit avec lui.

La technique des chercheurs est aussi bonne pour deviner la masse d’un objet que certaines méthodes plus complexes et coûteuses qui intègrent la vision informatique. De plus, leur approche économe en données est suffisamment robuste pour gérer de nombreux types de scénarios invisibles.

« Cette idée est générale, et je crois que nous rayons simplement la surface de ce qu’un robot peut apprendre de cette manière. Mon rêve serait de faire sortir les robots dans le monde, de toucher les choses et de déplacer les choses dans leur environnement, et de trouver les propriétés de tout ce avec quoi ils interagissent », explique Peter Yichen Chen, un MIT Postdoc et un auteur principal de cette technique.

Ses co-auteurs incluent le compatriote du MIT Postdoc Chao Liu; Pingchuan MA, Ph.D.; Jack Eastman, Meng; Dylan Randle et Yuri Ivanov d’Amazon Robotics; Les professeurs du MIT en génie électrique et en informatique Daniela Rus, qui dirige le Laboratoire d’informatique et d’intelligence artificielle du MIT (CSAIL); et Wojciech Matusik, qui dirige le groupe de conception et de fabrication de calcul dans CSAIL.

La recherche sera présentée à la Conférence internationale sur la robotique et l’automatisation, et le document est disponible sur le arxiv serveur de préimprimée.

Signaux de détection

La méthode des chercheurs tire parti de la proprioception, qui est la capacité d’un humain ou d’un robot à ressentir son mouvement ou sa position dans l’espace.

Par exemple, un humain qui soulève un haltère au gymnase peut ressentir le poids de cet haltère dans leur poignet et ses biceps, même s’il tient l’haltère à la main. De la même manière, un robot peut « ressentir » la lourdeur d’un objet à travers les multiples articulations dans son bras.

« Un humain n’a pas de mesures super précis des angles articulaires dans nos doigts ou la quantité précise de couple que nous appliquons à un objet, mais un robot. Nous profitons de ces capacités », explique Liu.

Alors que le robot soulève un objet, le système des chercheurs rassemble des signaux des encodeurs articulaires du robot, qui sont des capteurs qui détectent la position de rotation et la vitesse de ses articulations pendant le mouvement.

La plupart des robots ont des encodeurs conjoints dans les moteurs qui conduisent leurs pièces mobiles, ajoute Liu. Cela rend leur technique plus rentable que certaines approches car elle n’a pas besoin de composants supplémentaires comme des capteurs tactiles ou des systèmes de suivi de la vision.

Pour estimer les propriétés d’un objet lors des interactions robot-objet, leur système repose sur deux modèles: l’un qui simule le robot et son mouvement et celui qui simule la dynamique de l’objet.

« Avoir un jumeau numérique précis du monde réel est vraiment important pour le succès de notre méthode », ajoute Chen.

Leur algorithme « regarde » le robot et l’objet se déplacent lors d’une interaction physique et utilisent des données de codeur conjointe pour travailler à l’envers et identifier les propriétés de l’objet.

Par exemple, un objet plus lourd se déplacera plus lent qu’un léger si le robot applique la même quantité de force.

Simulations différenciables

Ils utilisent une technique appelée simulation différenciable, qui permet à l’algorithme de prédire comment de petits changements dans les propriétés d’un objet, comme la masse ou la douceur, ont un impact sur la position articulaire de fin du robot. Les chercheurs ont construit leurs simulations à l’aide de la bibliothèque Warp de Nvidia, un outil de développeur open-source qui prend en charge des simulations différenciables.

Une fois que la simulation différenciable correspond aux mouvements réels du robot, le système a identifié la propriété correcte. L’algorithme peut le faire en quelques secondes et n’a besoin que de voir une trajectoire réelle du robot en mouvement pour effectuer les calculs.

« Techniquement, tant que vous connaissez le modèle de l’objet et comment le robot peut appliquer la force à cet objet, vous devriez être en mesure de déterminer le paramètre que vous souhaitez identifier », explique Liu.

Les chercheurs ont utilisé leur méthode pour apprendre la masse et la douceur d’un objet, mais leur technique pourrait également déterminer les propriétés comme le moment d’inertie ou la viscosité d’un fluide à l’intérieur d’un récipient.

De plus, comme leur algorithme n’a pas besoin d’un ensemble de données étendu pour la formation comme certaines méthodes qui reposent sur la vision informatique ou les capteurs externes, il ne serait pas aussi sensible à l’échec face à des environnements invisibles ou à de nouveaux objets.

À l’avenir, les chercheurs veulent essayer de combiner leur méthode avec la vision par ordinateur pour créer une technique de détection multimodale qui est encore plus puissante.

« Ce travail n’essaie pas de remplacer la vision par ordinateur. Les deux méthodes ont leurs avantages et leurs inconvénients. Mais nous avons montré ici que sans appareil photo, nous pouvons déjà déterminer certaines de ces propriétés », explique Chen.

Ils veulent également explorer des applications avec des systèmes robotiques plus compliqués, comme des robots mous et des objets plus complexes, y compris des liquides glissants ou des milieux granulaires comme le sable.

À long terme, ils espèrent appliquer cette technique pour améliorer l’apprentissage des robots, permettant aux futurs robots de développer rapidement de nouvelles compétences de manipulation et de s’adapter aux changements dans leur environnement.

« La détermination des propriétés physiques des objets à partir de données a longtemps été un défi en robotique, en particulier lorsque seules des mesures limitées ou bruyantes sont disponibles. Ce travail est significatif car il montre que les robots peuvent déduire avec précision les propriétés telles que la masse et la douceur en utilisant uniquement leurs capteurs conjoints internes, sans s’appuyer sur des caméras externes ou des outils de mesure spécialisés, », explique Miles Macklin, directeur principal de la technologie SIMULAT chez Nvia, qui n’a pas été impliqué.