Des séquences de jeu aux superbes séquences avec la vision par ordinateur et d’autres outils d’intelligence artificielle

À quel point les images de basket-ball seraient-elles plus cool si un logiciel pouvait automatiquement mettre en lumière les joueurs clés ? Serait-il plus facile de comprendre les jeux si les flèches pouvaient indiquer le mouvement avant que les joueurs ne bougent réellement ? Quelle amélioration serait possible si l’on pouvait voir comment la distance par rapport à un panier affecte la trajectoire du tir ?

Toutes ces fonctionnalités sont désormais possibles grâce à SportsBuddy. Fruit d’une collaboration entre le Harvard Visual Computing Group (VCG) de la Harvard John A. Paulson School of Engineering and Applied Sciences (SEAS) et l’équipe masculine de basket-ball de Harvard, SportsBuddy utilise la vision par ordinateur et d’autres outils d’intelligence artificielle pour augmenter les séquences de matchs de basket-ball, améliorant ainsi l’expérience du spectateur avec une gamme d’effets spéciaux tels que des projecteurs sur des joueurs spécifiques, des flèches pour indiquer le mouvement des joueurs et des ballons de basket étincelants ou enflammés pour signifier un jeu réussi.

Les ligues sportives professionnelles comme la NBA disposent déjà de la technologie nécessaire pour produire des moments forts comme celui-ci, mais ce n’est pas toujours le cas pour les ligues collégiales ou récréatives. Les techniques de vision par ordinateur de SportsBuddy lui permettent de fonctionner sans caméras avancées ni capteurs de mouvement, ce qui signifie qu’un appareil aussi simple qu’une caméra de smartphone pourrait être utilisé pour créer une bobine de haute technologie. Et en combinant la vision par ordinateur avec la bonne interface de processeur de langage naturel, un utilisateur peut simplement saisir les joueurs et les effets qu’il souhaite, et SportsBuddy fait le reste pour produire le point culminant.

« Notre objectif ultime est de transmettre les données dans un format plus accessible et de fournir des informations plus approfondies au public », a déclaré Tica Lin, co-développeur principal de SportsBuddy et titulaire d’un doctorat. candidat en informatique au VCG. « Sans aucune technologie de détection, nous pouvons directement dériver des données de la vidéo et réintégrer des informations pour fournir des informations. »

Lin, qui a travaillé dans l’analyse et la visualisation de données pour les 76ers de Philadelphie avant de rejoindre SEAS, et son équipe ont produit des séquences de faits saillants augmentées tout au long de la saison de basket-ball 2023-2024. Des vidéos récentes ont même présenté une narration par un entraîneur de Harvard, avec des effets à l’écran correspondant à ses descriptions de jeux.

« Nous avons commencé avec des sports de raquette comme le tennis, qui étaient plus faciles que le basket-ball car il n’y a que deux joueurs sans chevauchement », a déclaré Zhu-Tian Chen, postdoctorant au VCG. « Une fois que nous étions prêts à passer à des sports plus compliqués, nous avons opté pour le basket-ball car il trouve un équilibre entre le nombre de joueurs et leur chevauchement. »

Alors que le nombre de vidéos a augmenté tout au long de la saison, l’attaquant de première année Luca Ace-Nasteski dit avoir remarqué un intérêt croissant à être mis en valeur parmi ses coéquipiers.

« C’est une bonne idée », a-t-il déclaré. « Je ne l’avais jamais vu auparavant, sauf en NBA. »

Lin travaille également sur l’autre collaboration de VCG avec Harvard Crimson, SportsXR, qui utilise la technologie AR pour améliorer l’analyse et la visualisation des données dans l’athlétisme.

« Le sport s’est avéré être un domaine d’application parfait pour l’AR/VR », a déclaré Lin, qui a étudié la technologie de réalité augmentée et virtuelle (AR/VR) en tant qu’étudiant en maîtrise au Georgia Institute of Technology. « Lorsque les athlètes et les entraîneurs s’entraînent sur le terrain, ils sont loin des écrans de bureau traditionnels pour lesquels la plupart des visualisations sont conçues. AR/VR est un nouveau support vraiment attrayant pour rapprocher ces données des athlètes et des entraîneurs.

VCG et le Neuromotor Control Lab de SEAS ont collaboré avec les équipes masculines et féminines de basket-ball de Harvard pour tester SportsXR. Les joueurs portaient des lunettes AR/VR capables d’analyser leur trajectoire de tir pendant qu’ils pratiquaient les lancers francs, puis ajustaient leur forme de tir pour essayer d’aligner la trajectoire avec l’arc idéal du ballon depuis leurs mains jusqu’au panier.

SportsXR est antérieur à SportsBuddy de plusieurs années, mais le directeur du HVCG, Hanspeter Pfister, professeur d’informatique An Wang, a déclaré qu’il faudrait encore 10 à 20 ans à la technologie pour devenir un produit commercial viable. SportsBuddy pourrait être prêt beaucoup plus tôt et l’objectif est de continuer à affiner l’interface utilisateur pour en faire une entreprise.

« Zhu-Tian et Tica sont des chercheurs fantastiques », a déclaré Pfister. « Ils ont proposé bon nombre des nouvelles idées que vous voyez. Je dis toujours que la recherche est là pour apprendre des applications, et que les applications sont là pour apprendre de la recherche. Nous avions une idée de recherche axée sur la réalité étendue, qui est toujours Dans 20 ans, nous avons maintenant un spin-off, SportsBuddy, qui a des applications très pratiques et se concentre davantage sur un problème réel que les équipes tentent de résoudre.