Un cadre d’apprentissage par renforcement pour améliorer les compétences de tir au football des robots quadrupèdes

Des chercheurs de l’Université de Californie à Berkeley (UC Berkeley), de l’Université de Montréal et de Mila ont récemment développé un cadre d’apprentissage par renforcement hiérarchique pour améliorer la précision des robots quadrupèdes dans le tir au soccer. Ce framework, présenté dans un article pré-publié sur arXiv, a été déployé sur un Unitree A1, un robot quadrupède développé par UnitreeRobotics.

« Les jambes humaines ne servent pas seulement à la locomotion, mais peuvent également être utilisées pour des manipulations comme jouer au football, et nous voulons permettre aux robots quadrupèdes d’atteindre également cette capacité », a déclaré Zhongyu Li, l’un des chercheurs qui a mené l’étude, à TechXplore. « Il existe une ligue notable dans la communauté robotique appelée » RoboCup « (Robot World Cup), qui invite les chercheurs à entraîner leurs robots à jouer à des matchs de football depuis des décennies. »

Les progrès récents ont permis la création de matériel plus fiable et d’algorithmes de contrôle avancés pour les robots. En conséquence, les robots sont désormais plus agiles et pourraient potentiellement s’attaquer à des tâches plus complexes, notamment jouer au football aux côtés d’humains. Le cadre développé par Li et ses collègues pourrait aider à améliorer la capacité des robots quadrupèdes à lancer le ballon pendant les matchs de football.

Le nouveau cadre comporte deux éléments clés : une politique de contrôle du mouvement et une politique de planification du mouvement. Le composant de contrôle de mouvement permet au robot de suivre une trajectoire arbitraire pour l’orteil sur sa jambe de frappe. La politique de planification de mouvement, d’autre part, sélectionne une trajectoire optimale des orteils pour tirer un ballon de football à proximité (détecté par une caméra externe) vers un emplacement cible (par exemple, le poteau de but).

« Notre conception nous permet de découpler le défi de la tâche précise de tir au football en deux sous-tâches : le contrôle et la planification », a déclaré Li. « Nous pouvons d’abord nous concentrer sur la formation d’une politique de contrôle robuste qui peut fonctionner sur le matériel, puis réutiliser un tel contrôleur pour apprendre la stratégie de planification. Pour tirer avec précision la balle vers des cibles dans le monde réel, le planificateur est formé en utilisant le vrai -données mondiales lorsque le robot tire le vrai ballon de football. »

Li et ses collègues ont testé leur cadre dans une série de tests en conditions réelles, à l’aide d’un robot quadrupède A1. Ils ont découvert que cela permettait au robot de tirer un ballon de football déformable sur des cibles aléatoires avec une grande précision. C’est une tâche très complexe à accomplir, car le robot doit balancer rapidement sa jambe de frappe et prendre de l’élan sans perdre l’équilibre.

« Le ballon de football présente plus de défis car le robot doit gérer non seulement le contact doux difficile à modéliser avec le ballon déformable, mais également les incertitudes du frottement de roulement entre le ballon et le sol », a déclaré Li. « La méthodologie que nous avons développée pour résoudre de tels problèmes pourrait être potentiellement utile pour les tâches où des robots dynamiques, tels que des robots à pattes, doivent interagir avec des objets mous, tels qu’une balle, des cordes, une laisse, des vêtements, etc. »

À l’avenir, le cadre créé par cette équipe de chercheurs pourrait être utilisé pour améliorer les performances des robots dans les tournois de football, en particulier la Robocup. Pendant ce temps, Li et ses collègues prévoient de concevoir d’autres cadres et modèles d’apprentissage automatique pour améliorer les performances des robots dans d’autres éléments du jeu de football.

« Notre objectif à long terme est de développer des footballeurs robotiques quadrupèdes qui pourraient un jour rivaliser avec les humains », a ajouté Li. « Nous développons des compétences de football plus complexes à l’aide de robots quadrupèdes et espérons que, dans un avenir proche, nous pourrons lancer un match de football entièrement autonome à l’aide de robots quadrupèdes. »