Un robot capable de ramasser des objets et de les déposer à l’endroit souhaité dans une maison inconnue

Une équipe de roboticiens de l’Université de New York, en collaboration avec un collègue d’IA de Meta, a développé un robot capable de ramasser des objets désignés dans une pièce inconnue et de les placer dans un nouvel emplacement désigné. Dans leur article publié sur le arXiv serveur de préimpression, l’équipe décrit comment le robot a été programmé et ses performances lorsqu’il a été testé dans plusieurs environnements réels.

Les chercheurs ont noté que les modèles de langage visuel (VLM) ont beaucoup progressé au cours des dernières années et sont devenus très efficaces pour reconnaître des objets en fonction d’invites linguistiques. Ils ont également souligné que les compétences des robots se sont également améliorées : ils peuvent saisir des objets sans les casser, les transporter vers les endroits souhaités et les déposer. Mais jusqu’à présent, peu de choses ont été faites pour combiner les VLM avec des robots qualifiés.

C’est exactement ce que les chercheurs ont tenté pour cette nouvelle étude, avec un robot vendu par Hello Robot. Il est doté de roulettes, d’une perche et de bras rétractables avec fermoirs pour les mains. L’équipe de recherche lui a donné un VLM préalablement formé et l’a surnommé OK-Robot.

Ils l’ont ensuite transporté dans 10 foyers de volontaires où ils ont créé des vidéos 3D à l’aide d’un iPhone et les ont transmis au robot pour lui donner une idée globale de l’aménagement d’une maison donnée. Ils lui ont ensuite demandé d’effectuer quelques tâches de déplacement simples : « déplacer la bouteille rose sur l’étagère vers la poubelle », par exemple.

Au total, ils ont demandé au robot d’effectuer 170 tâches de ce type – il a réussi à les accomplir avec succès dans 58 % des cas. Les chercheurs ont découvert qu’ils pouvaient améliorer son taux de réussite jusqu’à 82 % en désencombrant l’espace de travail.

L’équipe de recherche souligne que leur système utilise un algorithme de tir nul, ce qui signifie que le robot n’a pas été entraîné à l’environnement dans lequel il travaillait. Ils suggèrent également que le taux de réussite obtenu prouve que les systèmes robotisés basés sur VLM sont viables.

Ils soupçonnent que le taux de réussite pourrait être amélioré grâce à des ajustements et peut-être en utilisant un robot plus sophistiqué. Ils concluent en suggérant que leurs travaux pourraient constituer la première étape vers des robots avancés basés sur VLM.