Qu'est-ce que VideoGigaGAN et comment la nouvelle IA d'Adobe fonctionne pour convertir des vidéos floues basse résolution en HD

On vous explique qu'est-ce que VideoGigaGAN d'Adobe, un nouveau modèle d'intelligence artificielle avec lequel ils visent à mettre fin aux vidéos floues, en augmentant la résolution et en supprimant le flou. Pour le moment c'est un projet qui vient d'être présenté et est en développement, mais nous allons vous l'expliquer.

Nous allons commencer cet article en expliquant brièvement ce qu'est exactement ce modèle d'IA et ce qu'il peut faire selon Adobe. Ensuite, nous vous expliquerons un peu le fonctionnement interne, et nous terminerons en vous disant si nous savons quelque chose sur son lancement.

Qu'est-ce que VideoGigaGAN

VideoGigaGAN est une nouvelle fonctionnalité basée sur l'intelligence artificielle introduite par Adobe, la société à l'origine d'outils comme Photoshop. Il s’agit d’une IA basée sur des modèles génératifs, mais dans ce cas elle ne génère pas de contenu à partir de rien, mais le fait plutôt pour améliorer ce qui existe actuellement.

L’idée derrière cette intelligence artificielle est simple. Les vidéos basse résolution semblent floues, surtout lorsque vous augmentez leur taille en les redimensionnant, auquel moment du bruit peut également apparaître. Ce qu'ils veulent réaliser, c'est une IA cela augmente la résolution, les rendant nets de manière spectaculaire.

Allez, les vidéos floues cessent de l'être, et lorsque la résolution est augmentée, elles semblent claires et nettes, car l'IA a reconstruit l'image. Avec cela, Adobe dit qu'il peut augmenter la résolution d'une vidéo jusqu'à x8et tout cela en leur donnant un aspect net.

Les échantillons qui accompagnaient le document de présentation de cette intelligence artificielle sont incroyables. Dans ceux-ci, ils ont vu à quoi cela ressemblerait de convertir une vidéo floue de résolution 128×128 en une vidéo de 1024×1024. Non seulement cela augmente la résolution, l'image devient complètement netteet dans certains cas, il élimine même le scintillement des vidéos basse résolution pour les rendre fluides.

Avec cela, ce qu'Adobe a fait a été d'utiliser les techniques de génération de contenu IA non pas pour le générer à partir de zéro, mais pour générer-le à partir d'une vidéo présentée. Le contenu est généré et « inventé », mais de telle manière que le résultat soit le même que la vidéo source.

Comment fonctionne cette IA

VideoGigaGAN est ce qu'on appelle un modèle VSR ou Video Super-Resolution, qui se traduit par un modèle vidéo de super-résolution, et est basé sur l'architecture asymétrique de l'échantillonneur d'images GigaGAN. Ce GigaGAN est un modèle de synthèse texte-image qui permet de mettre à l'échelle et de gérer de grands ensembles de données, générant des images réalistes à partir de texte.

Ce qu'ils ont fait en interne avec cela, c'est d'abord convertir l'échantillonneur d'images en échantillonneur vidéo. ajouter des couches d'attention à la chronologie à ses blocs de décodage. De cette manière, le modèle redimensionne non seulement les images, mais le fait également afin de composer la vidéo.

Ils intègrent également les fonctionnalités d'un module de propagation guidée par flux, améliorant ainsi la cohérence, et utilisent des blocs d'anti-aliasing dans les couches de sous-échantillonnage du codeur pour supprimer les artefacts ou défauts d'anti-aliasing qui peuvent survenir.

En bref, le résultat final d'une part est améliorer la résolution d'une vidéo, jusqu'à huit fois. En plus de cela, des détails haute fréquence sont ajoutés et maintiennent la cohérence temporelle, évitant ainsi les problèmes courants liés au redimensionnement vidéo tels que le scintillement ou les mouvements brusques.

Aussi des techniques de lissage avancées sont utilisées et d'autres fonctions haute fréquence, permettant d'obtenir des vidéos plus nettes et plus cohérentes avec celles utilisées avec le cône de base.

En fin de compte, ce que fait cette IA en interne, c'est analyser le contenu de la vidéo que vous lui envoyez, en la redimensionnant image par image. Il applique également plusieurs couches pour que le résultat soit net et parfait, de sorte qu'il semble que la vidéo ait réellement été enregistrée en haute définition.

Quand VideoGigaGAN arrivera-t-il ?

Actuellement, cet outil d’intelligence artificielle est en cours de développement. Cela signifie qu’il s’agit d’un travail en cours et qu’il n’y a pas encore de produit final. Allez, quoi pas encore disponibleet nous ne pouvons pas le prouver.

Il n’y a pas encore de date de sortie prévue. Cependant, il est probable que lorsqu'ils l'auront terminé et lancé une première version de cette technologie, s'intègre à d'autres outils Adobe comme ils le font habituellement avec leurs développements d'IA, comme Adobe Premiere Pro. Cependant, c'est quelque chose qui n'est pas encore connu.

Dans les bases de Simseo | Comment se lancer dans l'intelligence artificielle à partir de zéro : concepts de base, outils, trucs et astuces