La structure de style découplée dans la méthode du domaine de Fourier améliore le mappage brut vers sRGB

Une équipe de chercheurs dirigée par le professeur Xie Chengjun et le professeur agrégé Zhang Jie des Hefei Institutes of Physical Science (HFIPS), de l’Académie chinoise des sciences (CAS), a dévoilé Fourier-ISP, un nouveau cadre basé sur l’apprentissage profond pour le RAW vers sRGB. conversion d’images.

Cette approche a été acceptée pour publication dans le Actes 2024 de l’Association pour l’avancement de l’intelligence artificielle (AAAI).

La conversion des images RAW en images sRGB améliore l’attrait visuel et la convivialité de la photographie sur smartphone. Cependant, les méthodes actuelles ont des difficultés avec la précision des couleurs et de la structure spatiale, en particulier avec les variations de résolution et de type d’image. La combinaison du mappage des couleurs et de la structure spatiale produit des résultats sous-optimaux en raison de l’interaction complexe entre le style et la structure au sein des images.

Pour surmonter ces défis, l’équipe a développé un nouveau cadre appelé Fourier-ISP. Inspirée du pipeline Image Signal Processing, cette approche sépare le style et la structure de l’image dans le domaine fréquentiel.

« Cela a permis une optimisation indépendante », a déclaré Zhang Jie, membre de l’équipe.

Fourier-ISP se compose de trois sous-réseaux : un pour affiner les détails structurels, un autre pour apprendre des couleurs précises et un troisième pour mélanger ces éléments de manière transparente. Ce découplage du style et de la structure permet d’améliorer les performances de conversion d’image, produisant des couleurs et des détails structurels plus nets et plus précis.

Des évaluations approfondies sur des ensembles de données variés confirment que Fourier-ISP obtient des résultats de pointe en matière d’évaluations qualitatives et quantitatives, surpassant les méthodes existantes en termes de précision et de reproduction des détails. Il démontre une transférabilité et une efficacité robustes dans le traitement des informations structurelles et stylistiques, garantissant une reproduction améliorée des couleurs et une préservation de la texture. Notamment, Fourier-ISP a obtenu une amélioration impressionnante du PSNR de 0,17 dB dans l’ensemble de données ZRR.

Ce cadre introduit un nouvel aperçu dans le domaine du traitement d’image, mettant en valeur le potentiel du découplage style-structure pour obtenir une conversion d’image haute fidélité, en particulier dans la photographie mobile, selon l’équipe.

Le document est disponible sur arXiv serveur de préimpression.

Fourni par les Instituts de sciences physiques Hefei, Académie chinoise des sciences