Un assistant IA surveille le travail d'équipe pour promouvoir une collaboration efficace

Lors d'une croisière de recherche autour d'Hawaï en 2018, Yuening Zhang SM '19, Ph.D. '24 a constaté à quel point il était difficile de maintenir un navire étanche. La coordination minutieuse requise pour cartographier le terrain sous-marin pouvait parfois conduire à un environnement stressant pour les membres de l'équipe, qui pouvaient avoir des compréhensions différentes des tâches à accomplir dans des conditions changeantes spontanément.

Au cours de ces voyages, Zhang a réfléchi à la manière dont un compagnon robotique aurait pu l’aider, elle et ses coéquipiers, à atteindre leurs objectifs plus efficacement.

Six ans plus tard, alors qu’il était assistant de recherche au Laboratoire d’informatique et d’intelligence artificielle du MIT (CSAIL), Zhang a développé ce qui pourrait être considéré comme une pièce manquante : un assistant IA qui communique avec les membres de l’équipe pour aligner les rôles et atteindre un objectif commun.

Dans un article présenté à la Conférence internationale sur la robotique et l'automatisation (ICRA 2024) et publié dans le Conférence internationale IEEE 2024 sur la robotique et l'automatisation (ICRA) le 8 août, elle et ses collègues présentent un système capable de superviser une équipe d'agents humains et IA, intervenant en cas de besoin pour potentiellement augmenter l'efficacité du travail d'équipe dans des domaines tels que les missions de recherche et de sauvetage, les procédures médicales et les jeux vidéo de stratégie.

Le groupe dirigé par le CSAIL a développé un modèle de théorie de l'esprit pour les agents d'IA, qui représente la manière dont les humains pensent et comprennent le plan d'action possible de chacun lorsqu'ils coopèrent sur une tâche.

En observant les actions de ses collègues agents, ce nouveau coordinateur d'équipe peut déduire leurs plans et leur compréhension mutuelle à partir d'un ensemble de croyances préalables. Lorsque leurs plans sont incompatibles, l'assistant IA intervient en alignant leurs croyances mutuelles, en leur donnant des instructions sur leurs actions et en leur posant des questions si nécessaire.

Par exemple, lorsqu'une équipe de secouristes est sur le terrain pour trier les victimes, ils doivent prendre des décisions en fonction de leurs convictions sur le rôle et les progrès de chacun. Ce type de planification épistémique pourrait être amélioré par le logiciel de CSAIL, qui peut envoyer des messages sur ce que chaque agent a l'intention de faire ou a fait pour garantir l'achèvement de la tâche et éviter les efforts en double.

Dans ce cas, l'assistant IA peut intervenir pour communiquer qu'un agent s'est déjà rendu dans une certaine pièce ou qu'aucun des agents ne couvre une certaine zone avec des victimes potentielles.

« Notre travail prend en compte le sentiment selon lequel « je crois que vous croyez ce que quelqu'un d'autre croit » », explique Zhang, qui est aujourd'hui chercheur scientifique chez Mobi Systems. « Imaginez que vous travaillez dans une équipe et que vous vous demandez : « Que fait exactement cette personne ? Que vais-je faire ? Sait-elle ce que je m'apprête à faire ? » Nous modélisons la façon dont les différents membres de l'équipe comprennent le plan global et communiquent ce qu'ils doivent accomplir pour aider à atteindre l'objectif global de leur équipe. »

L'IA à la rescousse

Même avec un plan sophistiqué, les agents humains et robotiques seront confrontés à des confusions et feront même des erreurs si leurs rôles ne sont pas clairement définis. Ce problème est particulièrement grave dans les missions de recherche et de sauvetage, où l'objectif peut être de localiser une personne en danger malgré le temps limité et la vaste zone à scanner.

Heureusement, la technologie de communication, renforcée par le nouvel assistant robotique, pourrait potentiellement informer les équipes de recherche de ce que fait chaque groupe et de l'endroit où ils cherchent. En retour, les agents pourraient naviguer sur le terrain plus efficacement.

Ce type d'organisation des tâches pourrait s'avérer utile dans d'autres situations à enjeux élevés, comme les interventions chirurgicales. Dans ces cas, l'infirmière doit d'abord amener le patient au bloc opératoire, puis l'anesthésiste doit endormir le patient avant que les chirurgiens ne commencent l'opération.

Tout au long de l'opération, l'équipe doit surveiller en permanence l'état du patient tout en réagissant de manière dynamique aux actions de chaque collègue. Pour garantir que chaque activité de la procédure reste bien organisée, le coordinateur de l'équipe d'IA pourrait superviser et intervenir en cas de confusion concernant l'une de ces tâches.

Le travail d'équipe efficace est également essentiel dans les jeux vidéo tels que « Valorant », où les joueurs coordonnent de manière collaborative qui doit attaquer et se défendre contre une autre équipe en ligne. Dans ces scénarios, un assistant IA pourrait apparaître à l'écran pour alerter les utilisateurs individuels des tâches qu'ils ont mal interprétées.

Avant de diriger le développement de ce modèle, Zhang a conçu EPike, un modèle informatique qui peut agir comme un membre d’une équipe. Dans un programme de simulation 3D, cet algorithme contrôlait un agent robotique qui devait faire correspondre un contenant à la boisson choisie par l’humain. Aussi rationnels et sophistiqués soient-ils, il arrive que ces robots simulés par l’IA soient limités par leurs idées fausses sur leurs partenaires humains ou sur la tâche.

Le nouveau coordinateur IA peut corriger les croyances des agents lorsque cela est nécessaire pour résoudre des problèmes potentiels, et il est intervenu de manière cohérente dans ce cas. Le système a envoyé des messages au robot sur les véritables intentions de l'humain pour s'assurer qu'il correspondait correctement au conteneur.

« Dans notre travail sur la collaboration homme-robot, nous avons été à la fois honorés et inspirés au fil des années par la fluidité des partenaires humains », déclare Brian C. Williams, professeur d'aéronautique et d'astronautique au MIT, membre du CSAIL et auteur principal de l'étude.

« Il suffit de regarder un jeune couple avec des enfants, qui travaillent ensemble pour préparer le petit-déjeuner de leurs enfants et les emmener à l'école. Si l'un des parents voit son partenaire servir le petit-déjeuner et toujours en peignoir, il sait qu'il doit prendre une douche rapidement et emmener les enfants à l'école, sans avoir besoin de dire un mot. Les bons partenaires sont bien en phase avec les croyances et les objectifs de l'autre, et notre travail sur la planification épistémique s'efforce de capturer ce style de raisonnement. »

La méthode des chercheurs intègre le raisonnement probabiliste à la modélisation mentale récursive des agents, ce qui permet à l'assistant IA de prendre des décisions en fonction des risques. En outre, ils se sont concentrés sur la modélisation de la compréhension des plans et des actions des agents, ce qui pourrait compléter les travaux antérieurs sur la modélisation des croyances sur le monde ou l'environnement actuel.

L'assistant IA déduit actuellement les croyances des agents en fonction d'un ensemble préalable de croyances possibles, mais le groupe du MIT envisage d'appliquer des techniques d'apprentissage automatique pour générer de nouvelles hypothèses à la volée. Pour appliquer cette contrepartie à des tâches réelles, ils visent également à prendre en compte des représentations de plans plus riches dans leur travail et à réduire encore davantage les coûts de calcul.