Un gardien de but robotique à quatre pattes basé sur l’apprentissage par renforcement

Des chercheurs du Hybrid Robotics Group de l’UC Berkeley, de l’Université Simon Fraser et du Georgia Institute of Technology ont récemment créé un modèle d’apprentissage par renforcement qui permet à un robot quadrupède de jouer efficacement au football dans le rôle de gardien de but. Le modèle présenté dans un article prépublié sur arXiv, améliore les compétences du robot au fil du temps, grâce à un processus d’essais et d’erreurs.

« En laissant les quadrupèdes jouer au football, nous pouvons repousser les limites de l’intelligence artificielle des robots aux jambes athlétiques », a déclaré Xiaoyu Huang, Zhongyu Li, Yanzhen Xiang, Yiming Ni, Yufeng Chi, Yunhao Li, Lizhi Yang, Xue Bin Peng et Koushil Sreenath. , les chercheurs qui ont mené l’étude, ont déclaré à TechXplore. « Le gardien de but est une tâche intéressante mais difficile qui nécessite que le robot réagisse à la balle en mouvement rapide, volant parfois dans les airs, et l’intercepte à l’aide de manœuvres dynamiques en très peu de temps (généralement en une seconde). En résolvant ce , nous pouvons ainsi également avoir un aperçu de la façon de créer des robots à pattes intelligents et dynamiques. »

L’objectif clé des travaux récents de Huang et de ses collègues était de créer un robot gardien de but à quatre pattes capable de perfectionner ses compétences en jouant, tout comme le ferait un gardien de but humain. Pour ce faire, les chercheurs ont développé un modèle d’apprentissage par renforcement qui entraîne le robot via un processus d’essais et d’erreurs, plutôt que via une stratégie fixe, conçue par l’homme.

« Le robot apprend d’abord différentes politiques de contrôle de la locomotion pour effectuer des compétences distinctes, telles que le pas de côté, la plongée et le saut, tout en suivant des trajectoires aléatoires pour les orteils du robot », ont expliqué les chercheurs. « Sur la base de ces politiques de contrôle, le robot apprend ensuite une politique de planification de haut niveau pour sélectionner une compétence et un mouvement optimaux pour intercepter la balle après avoir examiné la position de la balle détectée et les états du robot. »

Les chercheurs ont formé leur modèle d’apprentissage par renforcement dans une série de simulations de matchs de football. Par la suite, ils ont déployé les politiques apprises sur le Mini Cheetah, un véritable robot quadrupède développé au Massachusetts Institute of Technology (MIT) et testé ses performances dans le monde réel.

Le cadre d’apprentissage par renforcement créé par Huang et ses collègues s’est avéré améliorer considérablement les capacités du robot Mini Cheetah en tant que gardien de but de football. Lors des tests réels de l’équipe, le robot a pu enregistrer 87,5 % de 40 tirs aléatoires.

« Je pense que l’aspect le plus cool de notre travail est que, en utilisant notre méthode proposée, le robot quadrupède Mini Cheetah est capable d’effectuer des compétences de locomotion très dynamiques et agiles, telles que sauter et plonger, ainsi que des compétences de manipulation rapides et précises, telles que comme repousser le ballon en utilisant ses jambes qui se balancent en très peu de temps », ont déclaré les chercheurs. « Cela repousse en fait les limites de la locomotion à pattes, montrant que la jambe peut aussi être un manipulateur, tout comme elle peut l’être pour les humains. »

À l’avenir, le modèle d’apprentissage par renforcement créé par cette équipe de chercheurs pourrait être utilisé pour améliorer les performances des robots conçus pour participer à la RoboCup et à d’autres compétitions de football robotique. De plus, leur modèle pourrait être utilisé pour améliorer l’agilité et les capacités physiques de robots quadrupèdes conçus pour s’attaquer à des tâches entièrement différentes, telles que des missions de recherche et de sauvetage.

« Nous espérons que nous pourrons permettre aux robots quadrupèdes de rivaliser avec les joueurs de football humains dans un avenir proche », ont ajouté les chercheurs. « Les robots doivent effectuer une plus grande variété de mouvements dynamiques et agiles et atteindre plus d’intelligence dans le jeu de football. »