Un robot capable de détecter des bruits subtils dans son environnement et de les utiliser pour localiser les humains à proximité

Pour partager des espaces en toute sécurité avec les humains, les robots devraient idéalement être capables de détecter leur présence et de déterminer où ils se trouvent, afin d’éviter les accidents et les collisions. Jusqu’à présent, la plupart des robots ont été formés pour localiser les humains à l’aide de techniques de vision par ordinateur, qui s’appuient sur des caméras ou d’autres capteurs visuels.

Une équipe de recherche du Georgia Institute of Technology (Georgia Tech) a développé une méthode alternative pour localiser une personne qui s’appuie sur les sons subtils produits naturellement lors de ses déplacements dans un environnement donné. Cette méthode, présentée dans un article pré-publié sur arXivpeut être appliqué à une large gamme de systèmes robotiques.

« Notre groupe s’est récemment intéressé à l’exploration d’un thème de recherche de haut niveau concernant les types d’informations ‘cachées’ disponibles gratuitement sur lesquelles nous pouvons former des modèles », a déclaré Mengyu Yang, l’un des auteurs de l’article, à Tech Xplore. « Souvent en robotique, la détection acoustique humaine nécessite que la personne produise des sons parasites tels que parler ou applaudir. Sur la base de ces intérêts, nous voulions voir si les sons subtils et fortuits que les humains produisent par inadvertance lorsqu’ils bougent peuvent être ce signal « libre ». « .

La méthode de localisation acoustique proposée par Yang et ses collègues s’appuie sur des algorithmes d’apprentissage automatique. L’équipe a donc dû d’abord compiler un ensemble de données qui lui permettrait d’entraîner efficacement ses algorithmes.

L’ensemble de données qu’ils ont créé, baptisé l’ensemble de données Robot Kidnapper, contient 14 heures d’enregistrements audio à quatre canaux de haute qualité associés à des séquences de caméra 360 RVB. Ces enregistrements ont été collectés lors d’essais expérimentaux au cours desquels des personnes devaient se déplacer de différentes manières autour d’un robot.

« Pour collecter l’ensemble de données, nous avons enregistré les participants se déplaçant autour d’un robot Stretch RE-1 à différents niveaux de » furtivité « (par exemple, marcher tranquillement, marcher normalement, etc.) », a expliqué Yang. « Grâce à ces données, nous sommes en mesure de former des modèles d’apprentissage automatique qui prennent l’audio sous forme de spectrogrammes et prédisent s’il y a réellement une personne à proximité et, si c’est le cas, sa position par rapport au robot. »

La technique d’apprentissage automatique développée par Yang et ses collègues a été formée pour localiser les humains uniquement sur la base du son. Comme il nécessite uniquement l’audio enregistré par des microphones, il pourrait théoriquement être implémenté sur n’importe quel robot doté d’un microphone intégré.

Les chercheurs ont entraîné leur modèle à ignorer les bruits externes et non pertinents, tels que ceux provenant des systèmes de chauffage, de ventilation et de climatisation, ainsi que les sons produits par le robot lui-même. Lors de premiers tests, ils ont testé leur technique sur le robot Stretch RE-1, un manipulateur robotique compact et peu coûteux développé par Hello Robot.

« Nous pensons que notre méthode de détection humaine basée sur l’audio est importante pour le développement de systèmes de détection de personnes multimodaux qui résistent aux pannes », a déclaré Yang. « Les robots utilisent généralement des caméras ou des lidars pour se déplacer autour des personnes, mais si ces capteurs tombent en panne ou deviennent indisponibles (environnements faiblement éclairés, occlusions, etc.), notre méthode permet aux robots de s’appuyer uniquement sur l’audio, qui est généralement déjà disponible dans la plupart des cas. configurations matérielles. De plus, lorsqu’ils interagissent avec des robots, il ne faut pas s’attendre à ce que les gens créent intentionnellement des sons supplémentaires, sur lesquels s’appuient les travaux précédents.

Lors des premiers tests avec le robot Stretch RE-1, la technique de l’équipe s’est avérée deux fois plus performante que d’autres méthodes de localisation acoustique, permettant une localisation efficace des humains à proximité uniquement sur la base des sons produits accidentellement lors de la marche. Ces résultats mettent en évidence la faisabilité de la localisation acoustique, hautement évolutive et moins intrusive que la localisation par caméra.

« Nous pensons qu’il s’agit d’une amélioration par rapport aux travaux antérieurs sur la détection acoustique humaine, car notre méthode n’exige pas que la personne produise des sons parasites pour être entendus par le robot », a déclaré Yang.

« Cela peut potentiellement être utile pour les robots qui naviguent dans des espaces intérieurs partagés avec des personnes (robots domestiques, robots industriels, etc.), permettant ainsi de disposer d’une méthode non intrusive pour détecter où se trouvent les personnes. Alors que les méthodes utilisant des caméras peuvent potentiellement capturer des caractéristiques d’identification telles que Comme les visages, les tatouages ​​et les méthodes acoustiques qui obligent les gens à parler par exemple peuvent capturer leur voix, les données que nous utilisons pour la détection humaine sont également beaucoup plus difficiles à identifier.

À l’avenir, la technique de localisation humaine conçue par Yang et ses collègues pourrait contribuer à améliorer la sécurité et les performances des robots conçus pour collaborer étroitement avec les humains, tout en préservant la vie privée de leurs utilisateurs. Ces travaux pourraient également inspirer d’autres groupes de recherche à créer d’autres méthodes de localisation pour des applications robotiques ou même liées à la sécurité qui s’appuient sur des sons subtils.

« Nous avons collecté des données sur les personnes immobiles et en mouvement », a ajouté Yang. « Bien que notre article actuel se concentre uniquement sur la détection et la localisation des personnes en mouvement, nous espérons pouvoir, dans un futur travail, être également en mesure de détecter les personnes immobiles en utilisant uniquement l’audio, peut-être à travers les faibles bruits de leur respiration ou même à partir de légers changements dans l’atmosphère. bruit ambiant de la pièce dû à leur présence. »