Qualcomm sort sa poitrine dans une démo technologique percutante

Les moteurs d’IA génératifs comme Stable Diffusion ont montré leur potentiel spectaculaire pour créer des visuels époustouflants pendant des mois, mais jusqu’à présent, ils semblaient nécessiter des ressources massives pour fonctionner. Qualcomm vient de montrer que ses puces sont suffisantes et en reste pour proposer cette option.

Du cloud au PC et au mobile. Le modèle Stable Diffusion utilise plus de 1 000 millions de paramètres, ce qui semble le contraindre à se confiner au cloud ou utilisé sur des PC avec des cartes graphiques puissantes capable de gérer ce flux de données. Maintenant, Qualcomm a réussi à faire diverses optimisations sur ce modèle et a montré qu’il est possible de l’utiliser sur un smartphone Android.

L’optimisation est la clé. Comme ils l’expliquent dans Qualcomm, ils ont pris le modèle de départ Diffusion stable v1-5 FP32 de Hugging Face et a effectué des optimisations à l’aide de la quantification (pour réduire le modèle), de la compilation et de l’accélération matérielle. Avec cela, ils ont réalisé que le modèle, normalement gigantesque en termes de besoins de stockage, pouvait fonctionner sur un mobile régi par un Snapdragon 8 Gen 2.

Presque comme si vous l’utilisiez dans le cloud. Tous ces processus permettent à Stable Diffusion de générer des images de 512 x 512 pixels avec 20 étapes d’inférence en moins de 15 secondes, ce qui, selon Qualcomm, est comparable à la latence posée par les services cloud qui offrent une telle imagerie.

Il s’agit avant tout d’une démo technique. Pouvoir utiliser Stable Diffusion sur mobile est sans aucun doute surprenant, mais ici Qualcomm a voulu montrer de quoi ses deux puces sont capables – notamment avec l’Hexagon intégré aux SoC Snapdragon – ainsi que ses plateforme de développement des services d’IA.

L’ère de « Edge AI ». Cela, disent-ils dans l’entreprise, ouvre les portes de cette nouvelle ère de l’intelligence artificielle localement, dans l’appareil, ou comme l’appellent les Saxons, le « bord » (« Edge »). Nous avons vu comment des entreprises comme Apple, par exemple, se vantent que Siri peut travailler localement et sans connexion au cloud, et ici Qualcomm propose cette option mais à des fins plus ambitieuses telles que l’IA qui génère des images.

Du mobile à la voiture. Et cela mène à un avenir dans lequel ces types de processus sont réalisables sur d’autres plates-formes telles que les lunettes de réalité mixte ou les voitures connectées. « L’exécution de tous les traitements de l’IA dans le cloud est trop coûteuse, c’est pourquoi un traitement efficace de l’IA sur site est si important. » En fait, il y a encore un autre avantage : la confidentialité. Ces types de démos évitent d’avoir à utiliser des services cloud et qu’ils collectent plus de données de notre activité.