Qu’est-ce que cette intelligence artificielle de dessin qui améliore la Diffusion Stable et comment ça marche ?

Nous allons vous expliquer qu’est-ce que ControlNet et comment fonctionne-t-il ?, une technologie d’intelligence artificielle pour créer des images super réalistes. Il s’agit d’une extension créée pour Stable Diffusion, qui est aujourd’hui l’un des systèmes d’IA les plus avancés pour créer des images à partir de texte.

Nous allons essayer de vous expliquer exactement ce qu’est cette chose ControlNet d’une manière simple à comprendre, en passant également en revue ce qu’est la diffusion stable. Et puis nous essaierons également de vous expliquer les bases de son fonctionnement pour créer des images incroyablement réalistes.

Qu’est-ce que ControlNet ?

Pour comprendre ControlNet, vous devez d’abord comprendre Stable Diffusion, qui est un moteur d’intelligence artificielle conçu pour créer des images à partir de texte. En plus de cela, il peut également être utilisé pour générer des images à partir d’autres images que vous lui donnez.

Il a été créé par la société IA de stabilitéet c’est open source, permettant des améliorations telles que ControlNet. La diffusion stable a un système d’apprentissage automatiquece qui signifie que plus vous l’utilisez, plus il apprend à donner des résultats précis, apprenant au fil du temps à affiner ce qu’il vous montre.

ControlNet est un nouveau cadre de réseau neuronal, créé pour « contrôler de grands modèles de diffusion pré-entraînés afin de prendre en charge des conditions d’entrée supplémentaires ». Cela signifie qu’il s’agit d’un système qui modifie la sortie des données de diffusion stableafin qu’il s’adapte à certaines conditions de contrôle du modèle.

Cela signifie qu’au lieu de laisser Stable Diffusion créer les images de manière relativement aléatoire, ControlNet contrôle cette création pour cibler des conditions et des modèles spécifiques. Allez, ils sont comme des modèles pour diriger ce que Stable Diffusion crée, et fait les résultats sont encore plus étonnants en ayant plus de contrôle sur eux.

Comment fonctionne ControlNet

Ce que fait ControlNet, c’est utiliser son réseau de neurones pour contrôler les modes de diffusion Créé par Stable Diffusion. Les modèles de diffusion sont les systèmes qui créent des images à partir de rien, et ce que fait cette extension est ajouter des conditions supplémentaires à la création d’images.

Si vous demandez à Stable Diffusion de créer une image, il prendra en compte les paramètres que vous lui donnerez dans votre commande et générera une image aléatoire à partir de ceux-ci. Allez, il peut dessiner un homme souriant si vous le lui demandez, mais il y aura des gestes et des postures qui, à moins que vous ne spécifiiez beaucoup, sont décidés au hasard par l’IA elle-même.

Et c’est là qu’intervient ControlNet, qui ajoutera des conditions supplémentaires à votre modèle afin que, selon le modèle ControlNet choisi, il le fasse ressembler à quelque chose de spécifique. Par exemple, vous pouvez prendre un modèle qui est le dessin d’une tortue, puis Stable Diffusion rendra votre création aussi similaire que possible à ce modèle que vous avez dit.

ControlNet n’influence pas le processus de création de dessin Stable Diffusion, il ne le fait pas dessiner différemment. Ce qu’il fait est quelque chose de similaire à vous offrir des modèles pour que l’IA guide la création du dessin pour lui ressembler, et ces modèles sont les modèles pré-formés.

Il existe déjà différents modèles disponibles comme Canny Edge, qui détecte les bords, ou un Open POSE qui détecte les poses d’une image que vous utilisez comme référence, générant un « squelette » de l’original et créant une diffusion stable basée sur celui-ci. Il existe également un modèle appelé User Scribble, qui vous permet de dessiner un doodle et de générer une image basée sur celui-ci.

Il n’y a toujours pas de solution pour un utilisateur inexpérimenté d’utiliser cette technologie. Cependant, tous les développements et modèles sont affichés dans la page ControlNet Github. Avec cela, les développeurs experts en IA peuvent tester le fonctionnement de cette technologie et l’améliorer, et peut-être même créer des pages ou des modèles que vous pouvez utiliser en peu de temps. Pour le moment, tout est en phase expérimentale.