Je fais du montage vidéo professionnellement depuis neuf ans.  Donc je pense que Sora va changer mon travail et ma vie

vidéos à partir d'une seule image et d'un fichier vocal

Chaque jour est une nouvelle histoire avec l'IA. S'il y a quelques semaines c'était Sora, c'est maintenant EMO, l'intelligence artificielle générative qui nous laisse impressionnés. Et contrairement à ce qui est habituellement habituel, dans ce cas, cela ne vient pas d’OpenAI, de Google ou d’un des grands acteurs de la scène. La nouvelle IA vient de Chine, comme l'a présentée Alibaba.

Emote Portrait Alive (EMO) est une IA générative qui vous permet de générer des vidéos de portraits à partir d'une image et d'un fichier vocal. Mais le plus frappant, c'est le résultat. La synchronisation labiale est excellente, mais le expressions, qui s'adaptent en fonction du ton de la voix.

Comme toujours avec l’IA, il est préférable de regarder directement les exemples. Sur la page du projet sur Github, vous pouvez trouver plusieurs exemples.

Nous avons par exemple Audrey Hepburn chantant Perfect d'Ed Sheeran ou la femme de la vidéo Sora parlant avec la voix de Mira Murati, dans ce qui est clairement une référence interne parmi les équipes dédiées à l'intelligence artificielle.

EMO a été développé par Linrui Tian, ​​​​Qi Wang, Bang Zhang et Liefeng Bo de l'Alibaba Group Computational Intelligence Institute. Comme pour Sora, pour le moment c'est un outil dédié à la recherche et non accessible au public à utiliser. Ils partagent plusieurs exemples avec différentes possibilités. En plus de regarder les gens chanter ou parler, nous trouvons également des exemples où, à partir de la même image, on obtient une vidéo de la personne en colère, heureuse ou réfléchie.

EMO peut générer des vidéos de portraits de différentes époques, en fonction de la longueur du fichier audio à partir duquel il est généré. Comme l'expliquent les chercheurs, la cohérence du personnage est maintenue tout au long de la vidéo.

En voyant les résultats, il est facile de penser à l’impact que cela peut avoir pour plusieurs acteurs. Pendant la grève, le droit à l'image a été discuté, mais EMO se concentre également sur la voix. Une caractéristique tout aussi unique et à partir de laquelle des effets impressionnants peuvent être obtenus.

À Simseo | 19 pages et services pour créer des images de toutes pièces grâce à l'intelligence artificielle