La formation virtuelle utilise l'IA générative pour apprendre aux robots à parcourir le terrain du monde réel

Une équipe de roboticiens et d'ingénieurs du MIT CSAIL, Institute for AI and Fundamental Interactions, a développé une approche d'IA générative pour enseigner aux robots comment parcourir le terrain et se déplacer autour des objets dans le monde réel.

Le groupe a publié un article décrivant son travail et ses utilisations possibles sur le arXiv serveur de préimpression. Ils ont également présenté leurs idées lors de la récente conférence sur l'apprentissage des robots (CORL 2024), qui s'est tenue à Munich du 6 au 9 novembre.

Amener les robots à naviguer dans le monde réel à un moment donné implique de leur apprendre à apprendre à la volée ou de les former avec des vidéos de robots similaires dans un environnement réel. Même si une telle formation s’est avérée efficace dans des environnements limités, elle a tendance à échouer lorsqu’un robot rencontre quelque chose de nouveau. Dans ce nouvel effort, l'équipe du MIT a développé une formation virtuelle qui s'adapte mieux au monde réel.

Le travail consistait à utiliser l’IA générative et un simulateur physique pour permettre à un robot de naviguer dans un monde virtuel afin d’apprendre à fonctionner dans le monde réel. Ils appellent le système LucidSim et l'ont utilisé pour entraîner un chien robotique au parkour, un sport dans lequel les joueurs tentent de franchir des obstacles en territoire inconnu le plus rapidement possible.

L'approche consiste d'abord à lancer à ChatGPT des milliers de requêtes conçues pour amener le LLM à créer des descriptions d'un large éventail d'environnements, y compris la météo extérieure. Ensuite, les descriptions données par ChatGPT sont transmises à un système de cartographie 3D qui les utilise (avec des images générées par l'IA et des simulateurs physiques) pour générer une vidéo qui donne également une trajectoire que le robot doit suivre.

Le robot est ensuite entraîné à se frayer un chemin à travers le terrain dans le monde virtuel et à acquérir des compétences qu'il pourra utiliser dans un environnement réel. Les robots formés à l’aide du système ont appris à grimper sur des boîtes, à monter des escaliers et à gérer tout ce qu’ils rencontraient. Après une formation virtuelle, le robot a été testé dans le monde réel.

Les chercheurs ont testé leur système à l'aide d'un petit robot à quatre pattes équipé d'une webcam. Ils ont constaté qu’il fonctionnait mieux qu’un système similaire formé de manière traditionnelle. L'équipe suggère que les améliorations apportées à leur système pourraient conduire à une nouvelle approche de la formation des robots en général.