Capture d'écran 2023 02 21 À 12 55 26

Si Stable Diffusion nous a halluciné, ControlNet porte cette intelligence artificielle générative à un autre niveau

Stable Diffusion est devenu l’un des moteurs d’IA générative les plus spectaculaires en matière de création d’images, mais s’il avait déjà fait preuve d’une capacité étonnante à lui seul, il y a quelques jours est apparue une nouvelle technologie qui permet de la compléter et de l’amener à un autre niveau . Votre nom? ControlNet.

Qu’est-ce que ControlNet ?. tout est parti de une étude récente présentant une nouvelle structure de réseau neuronal appelée Controlnet. L’objectif était de « contrôler de grands modèles de diffusion pré-entraînés pour prendre en charge des conditions d’entrée supplémentaires ». Ou ce qui revient au même : modifiez la sortie de Stable Diffusion afin qu’elle s’adapte à certaines conditions ou modèles de contrôle. Cela donne à cette plateforme plus de polyvalence que jamais, comme le découvrent les utilisateurs qui essaient (et hallucinent) cette nouvelle tendance.

Le modèle « Canny Edge » nous permet d’obtenir des variations beaucoup plus similaires à ce que nous recherchons à partir de l’image de départ (coin supérieur gauche) et de l’invite.

des modèles pour tous. Cette technologie est utilisée en appliquant les soi-disant « modèles pré-entraînés » à la Diffusion Stable, ce qui s’explique par dans le référentiel du projet. Avoir maintenant différents modèles disponibles comme Canny Edge — qui détecte les bords —, Open POSE — qui détecte les poses en générant un « squelette » de l’image originale — ou User Scribble — qui vous permet de dessiner un doodle et de générer une image basée sur celui-ci. En appliquant la diffusion stable sur n’importe quelle invite avec l’ensemble d’images et de modèles, vous obtenez des variantes beaucoup plus puissantes pour les créations.

Capture d'écran 2023 02 21 À 12 56 34

Donnez-lui un doodle, il s’occupera du reste.

gribouillis de niveau divin. Certains ont déjà décrit des modèles tels que « Scribble » comme une bénédiction pour ceux qui utilisaient ce type de système pour créer leurs images. Il y avait déjà des solutions similaires intégrées dans StableDiffusion 2.5 comme img2img, mais cela amène cette option à un niveau époustouflant.

Capture d'écran 2023 02 21 Au 13 04 22

Avec le modèle « Human Pose », il est possible d’extraire le « squelette » de l’image de départ et, une fois l’invite établie (« un astronaute sur la Lune »), laissez Stable Diffusion créer des variantes qui correspondent à cette position et à cette invite.

Et des vidéos. Cela peut être la base de la création petites animations dans lequel l’utilisation de ControlNet et ces modèles sont combinés très efficacement. Tout cela peut être installé et utilisé localement grâce à des projets comme automatique1111surtout si nous avons un PC avec une carte graphique puissante (12 Go de mémoire graphique sont recommandés), mais il est possible d’utiliser ces modèles également avec des configurations plus modestes.

C’est un non-stop. Si Stable Diffusion offrait déjà de bons résultats, ce type « d’extension » fait de cette plateforme une option encore plus puissante pour soutenir tout travail ou projet créatif. Le rythme auquel ces projets évoluent est effréné, et si les résultats peuvent certainement être imparfaits, les outils sont spectaculaires.

Image: Yamkaz