Meta rejoint la fête DALL-E et présente son propre générateur d’image à partir de texte

Des rivaux commencent à apparaître pour DALL-E. L’intelligence artificielle (IA) Open AI n’est pas la seule dans le domaine de la génération d’images à partir de n’importe quel texte. Il y a quelques semaines, nous avons vu comment Google Research a présenté IMAGE et récemment, un laboratoire de recherche indépendant a révélé Midjourney. Maintenant c’est au tour de Meta et sa proposition intitulée « Faire une scène« 

L’IA de l’entreprise dirigée par Mark Zuckerberg, comme expliqué dans un article de blog, a une essence artistique puisque les résultats ressemblent (et sont basés sur) le travail fait à la main par une personne. Il permet aux utilisateurs de « créer une peinture numérique sans même prendre un pinceau » et vise à renforcer la créativité des artistes et des non-artistes à l’avenir. Voyons voir.

Comment fonctionne la nouvelle Meta AI pour générer des images

Make-A-Scene fonctionne un peu différemment des autres IA que nous avons vues ces derniers mois. IMAGE, par exemple, fonctionne avec un modèle de diffusion, également utilisé pour d’autres tâches, telles que la mise à l’échelle des imagesqui génère un rendu ultra-réaliste à partir du texte. La solution de Meta, en revanche, nécessite une composition ou un croquis comme base.

Mais quelle est cette base ? Selon l’entreprise, cela fait partie d’un nouveau concept de recherche qui cherche à résoudre l’un des plus gros problèmes des imageurs de ce type : qu’ils ne reflètent pas avec précision ce que nous demandons. Par exemple, si nous saisissons le texte « une peinture d’un zèbre faisant du vélo », dans le résultat, le vélo pourrait être tourné dans l’autre sens et le zèbre pourrait être trop grand ou trop petit.

La solution? Guidez l’IA avec un contour qui lui permet de délimiter clairement sa zone de travail. Comme nous pouvons le voir sur les images, ce n’est pas un travail trop élaboré. En ce sens, le modèle se concentre d’abord sur l’apprentissage des aspects clés de l’image de base, puis sur la génération de la représentation artistique basé sur le texte saisi dans des images de 2048 x 2048 pixels.

Make-A-Scene n’est pas seulement pour les artistes, dit Meta. Le responsable des programmes de l’entreprise, Andy Boyatzis, a utilisé l’IA avec ses enfants de deux et quatre ans. L’un d’eux a préparé un brouillon pour la saisie de texte « Un ours robot monstrueux dans un train » et le résultat était très intéressant et assez précis, car il montrait l’ours mécanique à bord d’un train qui n’avait pas du tout l’air délirant.

Cette Meta AI, comme beaucoup d’autres en développement, est limité aux tests fermés. La société a donné accès, jusqu’à présent, à une poignée d’artistes, mais n’a pas précisé si elle sera ouverte à tous plus tard. « Nous continuerons à repousser les limites de ce qui est possible en utilisant cette nouvelle classe d’outils créatifs », disent-ils, afin que nous puissions en savoir plus sur leurs progrès dans le temps.

À Simseo | Les IA ont un problème : elles sont opaques et fermées. BLOOM est le grand projet open source qui veut tout changer