Google StyleDrop génère des images à partir de texte

Il a fallu 16 ans à Da Vinci pour peindre la Joconde. Certains disent qu’il lui a fallu 12 ans juste pour peindre ses lèvres.

Il n’y a aucune vérité dans les rumeurs selon lesquelles Internet lent en serait la cause.

Mais Da Vinci, un polymathe qui s’est essayé à la botanique, à l’ingénierie, à la science, à la sculpture et à la géologie ainsi qu’à la peinture, aurait sûrement apprécié un nouveau transformateur de vision générative texte-image développé par Google Research.

StyleDrop de Google, tel que décrit dans un article du 1er juin sur le arXiv serveur de préimpression, permet aux utilisateurs de décrire des objets et de spécifier les styles artistiques qu’ils souhaitent intégrer dans la sortie générée.

StyleDrop renvoie des images reflétant les spécifications de l’utilisateur en trois minutes environ.

« La méthode proposée est extrêmement polyvalente et capture les nuances et les détails d’un style fourni par l’utilisateur, tels que les schémas de couleurs, l’ombrage, les modèles de conception et les effets locaux et globaux », a déclaré Google dans son rapport « StyleDrop : génération de texte à image ». dans n’importe quel style. »

StyleDrop crée également une typographie qui intègre fidèlement les caractéristiques stylistiques des images.

Par exemple, les utilisateurs pourraient proposer une image d’un pont, une lettre, puis spécifier un style de dessin. De tels styles pourraient être « rendu doré fondu », « sculpture en bois », « rendu 3D », « dessin animé » ou tout autre style préféré. L’imagination est la seule limite.

StyleDrop générera alors des rendus impressionnants d’objets avec un pont dégoulinant de type Dali, ou peut-être une version de type dessin animé, ainsi que des lettres incorporant les mêmes caractéristiques.

StyleDrop travaille en lien avec Muse de Google, un transformateur de vision générative dévoilé plus tôt cette année qui offre un remarquable degré de photoréalisme. Muse a été formé sur 3 milliards de paramètres, garantissant une capacité de génération d’images de haute qualité.

Les chercheurs ont évalué l’exactitude et la qualité de la sortie de StyleDrop à l’aide de la notation de texte et de style CLIP standard de l’industrie, ainsi que des commentaires des utilisateurs. Les évaluations ont révélé que StyleDrop « surclasse de manière convaincante » les autres principales méthodes de génération d’images et de texte, notamment DreamBooth, Imagen et Stable Diffusion.

Les développeurs considèrent ce programme, qui n’a pas encore été rendu public, comme une aide inestimable pour les directeurs artistiques et les graphistes qui peuvent créer des images photoréalistes de produits ou de thèmes désignés qui incluent du texte reflétant les mêmes couleurs, la même structure et le même style.

Pour une nouvelle campagne de produits, disons pour une nouvelle marque de soda, un artiste pourrait proposer en quelques mots une bouteille en verre aux formes épurées nichée au milieu de milliers de tulipes dans un champ hollandais, avec un texte d’accompagnement composé de lettres construites en verre rendu 3D, dans le style impressionniste de Monet. En trois minutes, avec le bon libellé, une nouvelle campagne publicitaire mettant en vedette un ciel scénique chaud et aux couleurs vives pourrait voir le jour.

Le célèbre typographe Helmut Schmidt a dit un jour : « La typographie doit être ressentie. La typographie doit être expérimentée. StyleDrop pourrait bien aider les designers à apporter un plus grand degré d’intimité et de connexion à leur travail.

Le rapport reconnaît toutefois que la protection du droit d’auteur est préoccupante.

« Nous reconnaissons les pièges potentiels tels que la possibilité de copier les styles d’artistes individuels sans leur consentement, et nous exhortons à une utilisation responsable de notre technologie », indique le rapport.

Et quelles instructions Da Vinci aurait-il utilisées pour StyleDrop ? « Dessinez une image d’une femme noble attirante, un peu souriante mais pas trop, assise à l’extérieur avec des montagnes en arrière-plan. Dessinez dans le style de… Da Vinci. » Avec le travail fait en trois minutes – au lieu de 16 ans – Leonardo, qui aimait la botanique, aurait eu beaucoup plus de temps pour sortir et sentir ces roses.