Meta se met à table et présente son propre modèle de génération vidéo avec son : c'est MovieGen

Meta a annoncé une famille de modèles d'intelligence artificielle (IA) appelée MovieGen. Nous sommes confrontés à une technologie qui permet générer des vidéos réalistes avec le son des invites de texte. Comme nous pouvons le voir, il est en concurrence directe avec des alternatives comme Sora d'OpenAI et Gen-3 Alpha de Gen-3 Alpha.

D'un côté nous avons MovieGen Video, un modèle de type transformateur de 30 milliards de paramètres dont les clips peuvent durer jusqu'à 16 secondes à 16 images par seconde ou jusqu'à 10 secondes à 25 images par seconde. Le modèle génère des vidéos 768p, mais est chargé de les mettre automatiquement à l’échelle 1080p.

D'autre part, nous avons MovieGen Audio, un modèle de transformateur avec 13 milliards de paramètres qui génère un son de jusqu'à 45 secondes pour les vidéos. Les utilisateurs ont la possibilité d'utiliser des invites pour obtenir de meilleurs résultats, par exemple en précisant qu'ils souhaitent un son ambiant ou une musique de fond.

Deux outils puissants qui se complètent pour créer du contenu

Ces modèles promettent d’offrir une variété de possibilités aux utilisateurs. Au niveau vidéo, ils peuvent commencer à générer directement avec une indication textuelle, mais ils peuvent également utiliser des clips existants. Meta souhaitait résoudre l'une des grandes difficultés de l'IA générative, qui consiste à éditer ses résultats.

Les utilisateurs peuvent demander certaines modifications. Par exemple, changer la couleur de la veste d'une personne ou changer l'orientation dans laquelle elle marche. L'IA de Meta tentera d'effectuer le changement sans altérer le reste du contenu du clipquelque chose d'important pour ceux qui cherchent à faire un travail plus professionnel.

Meta a partagé une série de clips qui ont fière allure. D'un koala surfant à une personne jonglant avec le feu sur une plage. Le problème est que, du moins pour le moment, nous ne pourrons pas accéder à MovieGen. La raison en est que Meta n'a pas lancé sa nouvelle famille de modèles.

L'entreprise assure qu'il s'agit d'un concept de recherche qui continuera d'évoluer dans son laboratoire d'IA. Néanmoins, de nombreuses nouveautés qui passaient auparavant par son laboratoire ont atteint le public, comme Meta AI sous la forme d'un chatbot qui permet aux gens de discuter et de générer des réponses sur Facebook, Instagram et Messenger.

L'un des modèles de génération vidéo qui a le plus attiré l'attention est Sora d'OpenAI. La société dirigée par Sam Altman a promis qu'elle parviendrait au public, mais nous attendons toujours que cela se produise. Mira Murati, avant de quitter l'entreprise, a déclaré que Sora arriverait cette année. Nous saurons bientôt si cela se produira.

Images | But

À Simseo | OpenAI's Eleven : que sont devenus ses onze fondateurs maintenant que la quasi-totalité d'entre eux ont quitté l'entreprise