L’évolution du système d’avatar iCub3 entièrement immersif

Au cours des quatre dernières années, une équipe de recherche du laboratoire d’intelligence artificielle et mécanique (AMI) de l’Istituto Italiano di Tecnologia (IIT-Institut italien de technologie) à Gênes (Italie) a développé des technologies avancées d’avatar, connues sous le nom de système iCub3, en tests continus avec des scénarios du monde réel.

Le système a été utilisé pour permettre à un opérateur humain de visiter à distance des lieux situés à 300 km, de divertir le public lors d’événements et d’apparitions à la télévision, et de participer au défi international ANA Avatar XPrize.

Dans leur document de recherche, publié dans Robotique scientifique, le groupe met en avant les défis auxquels il a été confronté, et les solutions mises en œuvre pour développer le système d’avatar. Leur approche souligne à quel point il est crucial que la recherche s’étende au-delà des limites des laboratoires et aborde les difficultés posées par la variabilité du monde réel, afin de développer une plate-forme robotique humanoïde robuste qui pourra bientôt faire partie du système économique et productif.

Le système iCub3 a déjà évolué vers un nouveau robot, le robot ergoCub, conçu pour maximiser l’acceptabilité dans les environnements de travail.

Le groupe de recherche du laboratoire AMI de l’IIT est coordonné par le chercheur italien Daniele Pucci et comprend environ 50 chercheurs. Le système d’avatar iCub3 est principalement composé du robot iCub3, qui est l’une des dernières versions du robot humanoïde iCub né à l’IIT il y a 20 ans, et des technologies portables nommées iFeel qui suivent les mouvements du corps humain.

Le système d’avatar a été conçu pour faciliter l’incarnation de robots humanoïdes par des opérateurs humains englobant des aspects tels que la locomotion, la manipulation, la voix et les expressions faciales avec un retour sensoriel complet comprenant des modalités visuelles, auditives, haptiques, de poids et tactiles. Il a été développé par l’IIT en collaboration avec l’Institut national italien d’assurance contre les accidents du travail (INAIL).

Le groupe de recherche de l’IIT a testé et adapté le système d’avatar iCub3 dans trois scénarios réels différents.

En novembre 2021, lors du premier test, un opérateur humain situé à Gênes contrôlait l’avatar de la Biennale de Venise à Venise (à environ 300 kilomètres) ayant la possibilité de visiter à distance l’exposition d’art italien. Les défis consistaient à assurer des communications à distance stables entre les deux sites, dans un délai de test limité.

De plus, les mouvements du robot et ses interactions avec l’environnement devaient être prudents et sûrs, compte tenu de la nature délicate des expositions d’art.

Le groupe de Pucci a utilisé la combinaison portable iFeel de l’IIT pour suivre les mouvements du corps de l’opérateur, et le système d’avatar a transféré ces mouvements sur le robot iCub3 à Venise, lui permettant de reproduire les actions de l’utilisateur à Gênes.

L’opérateur exerçait un contrôle précis sur les parties du corps du robot, notamment les doigts et les paupières. De plus, des dispositifs haptiques personnalisés ont été utilisés pour permettre à l’opérateur de ressentir un câlin depuis un emplacement distant. La transmission a été diffusée via une connexion Internet à fibre optique standard, ce qui a entraîné un retard d’une centaine de millisecondes.

En juin 2022, le deuxième test a eu lieu lors du festival italien de l’innovation numérique, We Make Future Show, présentant des défis supplémentaires.

L’opérateur de Gênes contrôlait un robot positionné sur le lieu du festival à Rimini (à environ 300 km). La tâche du robot consistait à recevoir et à transporter une charge utile d’une personne tout en naviguant sur la scène du théâtre devant un public d’environ 2 000 spectateurs.

Le spectacle s’est déroulé en direct, au milieu d’interférences électromagnétiques considérables. Le groupe de recherche de l’IIT a introduit des dispositifs haptiques spécialisés pour permettre à l’opérateur de percevoir le poids porté par le robot et a amélioré les capacités d’expression du robot, car il devait divertir le public.

En novembre 2022, l’ensemble de l’architecture a été présentée lors du concours Avatar XPrize d’All Nippon Airways (ANA) à Los Angeles. L’arène du concours ressemblait à un panorama pris depuis Mars ou une autre planète lointaine, suggérant l’exploration spatiale comme future application potentielle des avatars.

Chaque avatar était exploité par des individus ne faisant pas partie de l’équipe de recherche et nécessitait une formation juste avant la course ; de plus, ils n’avaient que 25 minutes pour accomplir 10 tâches différentes.

Le robot iCub3 devait effectuer des tâches lourdes dans un temps limité, une situation qui a poussé le robot dans ses retranchements. L’équipe IIT a équipé les mains du robot d’une peau sensorielle pour lui permettre de percevoir la texture des objets manipulés.

La commande du robot a été conçue pour être aussi intuitive que possible, permettant à l’opérateur d’avoir un contrôle direct sur toutes les pièces et capacités du robot. Par exemple, l’opérateur pourrait contrôler la locomotion du robot en marchant sur place, créant ainsi un sentiment accru d’incarnation.

L’expérience acquise par l’équipe de Daniele Pucci a été fondamentale pour transformer le système d’avatar iCub3 en un nouveau robot, le robot ergoCub, conçu pour maximiser l’acceptabilité dans l’environnement de travail. Le nouvel ergoCub humanoïde, actuellement développé à l’IIT, vise à minimiser les risques et la fatigue liés aux tâches collaboratives pour les travailleurs de l’industrie et des soins de santé.