Meta a annoncé SAM 2, la prochaine chose que vous utiliserez pour éditer vos vidéos

Meta a annoncé SAM 2, la prochaine chose que vous utiliserez pour éditer vos vidéos

Meta a annoncé sur son blog d'entreprise le lancement de SAM 2 (Segment Anything Model 2), la nouvelle version de son modèle d'IA pour identifier et segmenter les éléments des images et des vidéos.

Parce que c'est important. Cet outil améliore ce que Meta avait il y a un an, SAM, pour transformer la façon dont nous interagissons avec les photos et les vidéos avant de les télécharger sur WhatsApp ou Instagram.

Le contexte.

  • SAM était déjà utilisé dans les fonctions Instagram telles que « Toile de fond » et « Découpes ».
  • La nouvelle version identifie et suit les objets en vidéo en temps réel, beaucoup plus simple et plus rapide qu'auparavant.
  • Meta a publié SAM 2 sous une licence open source, permettant aux développeurs et aux entreprises de l'utiliser pour créer leurs propres applications.

Comment ça marche.

  • Identification précise. SAM 2 peut reconnaître n'importe quel objet dans une photo ou une vidéo d'un simple clic ou appui de l'utilisateur.
  • Surveillance en temps réel. Une fois l’objet identifié, le modèle le suit tout au long de la vidéo, même s’il disparaît momentanément de la scène.
  • Adaptabilité. Il fonctionne avec des objets et des scènes même si vous ne les avez jamais vus auparavant (dans vos données d'entraînement). Cela le rend très polyvalent.
  • Interactivité. Permet à l'utilisateur d'affiner les résultats avec des indications supplémentaires, augmentant ainsi le niveau de contrôle.

Ici vous pouvez voir SAM 2 en action. Mention pour le choix du vélo, qui s'adapte même s'il est partiellement couvert par la personne qui le porte.

Applications potentielles. Meta a envisagé plusieurs cas d’utilisation lors du lancement de ce modèle :

  • Édition vidéoce qui simplifie la suppression des arrière-plans ou l'ajout d'effets spéciaux à des objets spécifiques.
  • Médecineaidant à analyser des images médicales ou des vidéos de chirurgies.
  • Recherche marineen fait, SAM est déjà utilisé pour analyser les images SONAR des récifs coralliens.
  • Sécurité en améliorant les systèmes de surveillance et la détection des menaces.
  • Réalité mixteaméliorant les expériences interactives comme celles proposées par le Quest 3.

En résumé. SAM 2 représente une avancée importante dans la vision par ordinateur. Il promet la démocratisation des tâches complexes de montage vidéo et d’analyse visuelle. Et en raison de sa nature open source, on s’attend à ce que nous assistions bientôt à un flot d’applications créatives basées sur cette technologie.

À Simseo | Fatigué de répondre à vos abonnés ? Ne vous inquiétez pas, Instagram prépare une IA pour le faire à votre place

Image en vedette | But