RoboTool permet l’utilisation d’outils créatifs dans les robots

Si un ingrédient est hors de portée sur une étagère haute du garde-manger, il ne vous faudra pas plus de quelques secondes pour trouver un escabeau, ou peut-être simplement une chaise, sur laquelle vous tenir debout pour amener l’ingrédient à votre portée. Cette solution simple est le résultat d’une approche complexe de résolution de problèmes que les chercheurs appellent l’utilisation d’outils créatifs.

Bien que l’utilisation des outils pour l’usage auquel ils sont destinés soit une compétence utile, l’utilisation créative des outils repose non seulement sur la capacité à identifier les outils et à les utiliser efficacement, mais également sur la propension à prédire les résultats, ce qui en fait une marque d’intelligence avancée que, au-delà des humains, peu de gens connaissent. les animaux ont maîtrisé.

Des chercheurs du département de génie mécanique de l’université Carnegie Mellon, en collaboration avec Google DeepMind, ont posé cette question : parce que les humains comprennent l’utilisation des outils créatifs, pouvons-nous également apprendre aux robots à les utiliser ?

« Le défi fondamental de l’utilisation d’outils créatifs est qu’il s’agit par définition d’un problème ‘inconnu’, ce qui signifie qu’il n’y a aucune démonstration », a déclaré Ding Zhao.

« Sinon, il s’agit d’apprendre, mais pas de créer. Par conséquent, nous devons faire appel à des connaissances externes pour aider les robots à réfléchir. Les grands modèles de langage, qui extraient toutes les connaissances d’Internet, sont les ingrédients parfaits de ce projet », a déclaré Zhao. , professeur agrégé de génie mécanique et directeur du CMU Safe AI Lab.

Pour explorer cela, les chercheurs ont développé RoboTool, un système d’utilisation d’outils créatifs basé sur de grands modèles de langage (LLM) qui acceptent des instructions en langage naturel sur l’environnement d’un robot, y compris la taille et le positionnement des objets dans son espace de travail et d’autres contraintes liées à l’incarnation. RoboTool génère ensuite du code Python directement exécutable comme plan pour terminer la tâche.

« Contrairement aux modèles existants qui fournissent aux robots des instructions concrètes, comme ‘utiliser cette fourchette pour manger ce gâteau’, nous fournissons uniquement à notre robot un objectif de haut niveau, comme ‘manger le gâteau' », a expliqué Mengdi Xu, un doctorat candidat en génie mécanique.

RoboTool a été mis à l’épreuve lorsque l’équipe de recherche a demandé à deux robots différents d’effectuer trois tâches nécessitant la sélection d’outils, l’utilisation séquentielle d’outils et la fabrication d’outils.

Sélection d’outils a été évalué en chargeant un bras robotique de saisir un carton de lait hors de sa portée et en demandant à un robot à quatre pattes de se déplacer d’un canapé à l’autre, en faisant attention à l’espace entre les deux. Les deux robots ont dû choisir l’outil le plus approprié parmi plusieurs options pour réussir. Ils ont démontré une large compréhension de la taille et de la forme des objets, ainsi que leur capacité à analyser la relation entre ces propriétés et l’objectif ultime de réussir le test.

Utilisation séquentielle des outils nécessite que les robots utilisent une série d’outils dans un ordre spécifique pour atteindre l’objectif. Les robots des équipes l’ont démontré en déplaçant des blocs ensemble pour grimper sur un canapé et en utilisant un bâton pour pousser une canette sur un morceau de papier afin de la mettre à portée de main.

Fabrication d’outils a appelé les robots à accomplir des tâches en fabriquant des outils à partir de matériaux disponibles, comme l’utilisation d’une planche et d’un tuyau pour créer un levier permettant de soulever un cube. Ce test nécessite que le robot discerne les connexions implicites entre les objets et assemble les composants par manipulation.

« Cette capacité est importante en robotique car elle permet aux robots d’effectuer des tâches qui semblaient impossibles à l’origine », a déclaré Peide Huang, titulaire d’un doctorat. candidat en génie mécanique.

À l’avenir, l’équipe intégrera des modèles de vision dans le système pour débloquer une capacité de perception et de raisonnement encore plus forte. Ils cherchent également à développer des moyens plus interactifs permettant aux humains de participer et de guider l’utilisation des outils créatifs des robots.