Utiliser l’IA pour transformer les objets du quotidien en assistants proactifs
Une agrafeuse glisse sur un bureau pour rencontrer une main qui attend, ou un couteau s'écarte juste avant que quelqu'un ne s'appuie contre un comptoir. Cela semble magique, mais à l'Institut d'interaction homme-machine (HCII) de l'Université Carnegie Mellon, des chercheurs combinent l'IA et la mobilité robotique pour donner aux objets du quotidien ce type de prévoyance.
À l’aide de grands modèles linguistiques (LLM) et de plates-formes robotiques à roues, les chercheurs du HCII ont transformé des objets ordinaires, comme des tasses, des assiettes ou des ustensiles, en assistants proactifs capables d’observer le comportement humain, de prédire les interventions et de se déplacer sur des surfaces horizontales pour aider les humains au bon moment.
Les travaux de l'équipe sur l'IA physique discrète ont été présentés lors du symposium ACM 2025 sur les logiciels et technologies d'interface utilisateur, qui s'est tenu à Busan, en Corée.
« Notre objectif est de créer des systèmes adaptatifs pour l'interaction physique qui soient discrets, ce qui signifie qu'ils se fondent dans nos vies tout en s'adaptant de manière dynamique à nos besoins », a déclaré Alexandra Ion, professeure adjointe au HCII qui dirige le laboratoire de structures interactives.
« Nous classons ce travail comme discret car l'utilisateur ne demande pas aux objets d'effectuer des tâches. Au lieu de cela, les objets détectent ce dont l'utilisateur a besoin et exécutent eux-mêmes les tâches. »
Le système discret de l'Interactive Structures Lab utilise la vision par ordinateur et les LLM pour raisonner sur les objectifs d'une personne, en prédisant ce qu'elle pourrait faire ou ce dont elle aurait besoin ensuite.
Une caméra montée au plafond détecte l'environnement et suit la position des objets. Le système traduit ensuite ce que voit la caméra en une description textuelle de la scène. Ensuite, un LLM utilise cette traduction pour déduire quels pourraient être les objectifs de la personne et quelles actions l'aideraient le plus.
Enfin, le système transfère les actions prévues à l'élément. Ce processus permet une aide transparente dans les tâches quotidiennes comme la cuisine, l'organisation, le travail de bureau et bien plus encore.
« Nous bénéficions d'une grande aide de l'IA dans le domaine numérique, mais nous souhaitons nous concentrer sur l'assistance de l'IA dans le domaine physique », a déclaré Violet Han, titulaire d'un doctorat à l'HCII. étudiant travaillant avec Ion.
« Nous avons choisi d'améliorer les objets du quotidien parce que les utilisateurs leur font déjà confiance. En améliorant les capacités des objets, nous espérons accroître cette confiance. »
Ion et son équipe ont commencé à étudier les moyens d'étendre la portée de l'IA physique discrète à d'autres parties des maisons et des bureaux.
« Imaginez, par exemple, que vous rentrez à la maison avec un sac de courses. Une étagère se déplie automatiquement du mur et vous pouvez poser le sac pendant que vous enlevez votre manteau », a déclaré Ion lors de son épisode du podcast « Does Compute » de la School of Computer Science.
« L'idée est que nous développons et étudions une technologie qui s'intègre parfaitement dans notre vie quotidienne et qui est si bien assimilée qu'elle devient presque invisible, tout en nous apportant constamment de nouvelles fonctionnalités. »
L'Interactive Structures Lab vise à créer des interfaces physiques intuitives qui apportent une assistance physique sûre et fiable dans les maisons, les hôpitaux, les usines et autres espaces.
