Les chercheurs utilisent ChatGPT pour des chorégraphies avec des robots volants

Le professeur Angela Schoellig de l'Université technique de Munich (TUM) utilise ChatGPT pour développer des chorégraphies permettant à des essaims de drones de se produire en musique. Un filtre de sécurité supplémentaire empêche les collisions en vol. Les résultats du chercheur démontrent pour la première fois que les grands modèles de langage (LLM) tels que ChatGPT peuvent être utilisés en robotique.

L'étude est publiée dans les actes du Conférence internationale IEEE 2023 sur la robotique et l'automatisation (ICRA).

L'interface web est simple à utiliser : le doctorant Martin Schuck sélectionne un morceau de musique et saisit un texte demandant une suggestion de chorégraphie. Des instructions supplémentaires peuvent être données à l'essaim de drones via une autre invite dans l'outil ChatGPT avant qu'un algorithme ne vérifie si les trajectoires de vol suggérées sont réalisables.

L'écran du laboratoire de systèmes d'apprentissage et de robotique montre désormais un aérodrome simulé avec six drones volant en rond au son de la musique. Si le scientifique de la Chaire Sécurité, Performance et Fiabilité des Systèmes d'Apprentissage de TUM aime cette chorégraphie, il la connecte. Peu de temps après, six drones de la taille d'une paume décollent du sol du laboratoire de robotique.

La chorégraphie avec trois robots volants est terminée en cinq minutes

Dans le laboratoire du professeur Angela Schoellig, l'équipe de recherche a installé six caméras montées au plafond dans une pièce d'environ 40 mètres carrés et 3 mètres de haut. Les croix sont marquées au sol avec du ruban isolant. Ceux-ci indiquent les positions de départ des drones. Une fois que l’ordinateur a vérifié une éventuelle chorégraphie, ils peuvent décoller.

Les caméras détectent la position des quadricoptères, équipés de quatre hélices et moteurs, 200 fois par seconde. Le système les compare avec la position souhaitée. Les « spectacles aériens » du laboratoire de systèmes d'apprentissage et de robotique, que l'équipe de recherche réalise avec jusqu'à neuf drones, sont aujourd'hui 100 % sûrs. Sans le filtre de sécurité spécial, seule une démonstration sur quatre se déroule sans accident.

SwarmGPT : un algorithme supplémentaire assure la sécurité des robots volants

Le professeur Angela Schoellig a combiné ChatGPT avec le filtre de sécurité pour la « Danse des robots volants ». « L'outil ChatGPT AI a été créé avant tout pour générer des textes, mais il peut aussi suggérer des chorégraphies », précise le professeur. « Cependant, au départ, il ne sait rien des propriétés des drones et des limites physiques des trajectoires de vol. Il est donc clair que ChatGPT fait des erreurs. »

L'algorithme de sécurité supplémentaire comble cette lacune en cartographiant les trajectoires de vol pour la chorégraphie proposée avec une telle précision que les collisions en vol sont complètement évitées. Les drones peuvent même s’approcher en diagonale. Le professeur Schoellig appelle le concept global de ChatGPT et du filtre de sécurité conçu pour utiliser plusieurs robots volants « SwarmGPT ». L'outil génère les processus dans l'air et sert en même temps d'interface entre le robot et l'humain, qui ne nécessite aucune connaissance experte.

Un bond en avant grâce à ChatGPT

Lorsqu’Angela Schoellig a commencé ses recherches sur les drones il y a près de 15 ans, les chorégraphies étaient réalisées à la main. Il a fallu plus de trois ans pour développer et mettre en service les six premières chorégraphies de six drones. « ChatGPT a permis un bond en avant », déclare le professeur Schoellig.

Au cours des trois derniers mois, les chercheurs ont expérimenté plus de 30 chorégraphies pour un maximum de neuf drones. Aujourd’hui, il ne faut que cinq minutes environ aux chercheurs pour développer une chorégraphie sûre pour des clips musicaux de 30 secondes avec trois drones. Plus on ajoute de drones, plus ChatGPT a besoin de temps pour ses calculs et plus il met de temps pour proposer une chorégraphie. Mais Schoellig en est sûr : « Le concept est évolutif. »

Robotique : ChatGPT devient une interface pour les non-experts

D’autres robots peuvent-ils être utilisés avec une interface similaire via ChatGPT ? Pour les robots qui utilisent la commande vocale pour ramasser des objets, poser des câbles ou ouvrir des portes, le taux de réussite de ces actions n'est actuellement que de 63 %, 56 % et 80 %. Jusqu’à présent, les applications dans d’autres scénarios robotiques se sont révélées quelque peu peu fiables.

Pour la professeure Angela Schoellig, il s'agit d'une incitation : « Je suppose que notre approche continuera à s'améliorer également dans d'autres scénarios. » Il sera peut-être bientôt possible de reprogrammer des robots aspirants et industriels simplement par commande vocale, sans avoir besoin de connaissances spécialisées ou de compétences en programmation.