Des chercheurs développent un observateur intelligent pour l’esport

L’esport, déjà une industrie d’un milliard de dollars, se développe, en partie à cause des observateurs humains du jeu. Ils contrôlent le mouvement de la caméra et montrent aux spectateurs les parties les plus attrayantes de l’écran de jeu. Cependant, ces observateurs peuvent manquer des événements importants se produisant simultanément sur plusieurs écrans. Ils sont également difficiles à se permettre dans les petits tournois.

Par conséquent, la demande d’observateurs automatiques a augmenté. Les méthodes d’observation artificielle peuvent être basées sur des règles ou sur l’apprentissage. Tous deux prédéfinissent les événements et leur importance, nécessitant une connaissance approfondie du domaine. De plus, ils ne peuvent pas capturer des événements indéfinis ou discerner des changements dans la signification des événements.

Récemment, des chercheurs sud-coréens, dirigés par le Dr Kyung-Jong Kim, professeur agrégé à l’Institut des sciences et technologies de Gwangju, ont proposé une approche pour surmonter ces problèmes. « Nous avons créé un observateur automatique utilisant l’algorithme de détection d’objets, Mask R-CNN, pour apprendre les données de spectateur humain », explique le Dr Kim. Leurs conclusions ont été mises en ligne le 10 octobre 2022 dans la revue Systèmes experts avec applications.

La nouveauté réside dans la définition de l’objet comme l’espace spatial bidimensionnel vu par le spectateur. En revanche, la détection d’objet conventionnelle traite une seule unité, par exemple, un travailleur ou un bâtiment, comme l’objet. Dans cette étude, les chercheurs ont d’abord recueilli des données d’observation humaine dans le jeu StarCraft auprès de 25 participants.

Ensuite, les fenêtres (zones vues par le spectateur) ont été identifiées et étiquetées comme « une ». Le reste de l’écran était rempli de « zéros ». Alors que les fonctionnalités du jeu sont utilisées comme données d’entrée, les observations humaines constituent l’information cible.

Les chercheurs ont ensuite introduit les données dans le réseau de neurones à convolution (CNN), qui a appris les modèles des fenêtres pour trouver la « région d’intérêt commun » (ROCI) – la zone la plus excitante à regarder pour les spectateurs. Ils ont ensuite comparé quantitativement et qualitativement l’approche ROCI Mask R-CNN avec d’autres méthodes existantes.

La première évaluation a montré que les fenêtres d’affichage prévues par CNN étaient similaires aux données d’observation humaine collectées. De plus, la méthode basée sur le ROCI a surpassé les autres à long terme lors du test de généralisation, qui impliquait différentes courses de confrontation, lieux de départ et cartes de jeu. L’observateur proposé a pu capturer les scènes d’intérêt pour les humains. En revanche, cela ne pouvait pas être fait par clonage de comportement – une technique d’apprentissage par imitation.

Le Dr Kim souligne les applications futures de leurs travaux. « Le cadre peut être appliqué à d’autres jeux représentant une partie de l’état global du jeu, pas seulement StarCraft. Alors que des services tels que la transmission multi-écran continuent de croître dans Esports, l’observateur automatique proposé jouera un rôle dans ces livrables. Il sera également être activement utilisé dans du contenu supplémentaire développé à l’avenir. »

Fourni par GIST (Institut des sciences et technologies de Gwangju)