Les chercheurs mettent en œuvre la fusion d’images multifocales à l’aide de modèles de diffusion

La fusion d’images multifocales (MFIF) est une technologie d’amélioration d’image qui aide à résoudre le problème de profondeur de champ et à capturer des images entièrement mises au point. Il présente de larges perspectives d’application qui peuvent étendre efficacement la profondeur de champ des lentilles optiques.

Les méthodes d’apprentissage profond MFIF ont montré ces dernières années des avantages par rapport aux algorithmes traditionnels. Cependant, une plus grande attention a été accordée aux structures de réseau, aux modules de gain et aux fonctions de perte de plus en plus grandes et complexes afin d’améliorer les performances de fusion des algorithmes.

Une équipe de chercheurs dirigée par Fu Weiwei de l’Institut de génie et de technologie biomédicales de Suzhou (SIBET) de l’Académie chinoise des sciences (CAS) a repensé la tâche de fusion d’images et l’a modélisée comme un modèle de génération conditionnelle.

Les chercheurs ont proposé un algorithme MFIF basé sur le modèle de diffusion, appelé FusionDiff, en combinant le modèle de diffusion actuel avec le meilleur effet dans le domaine de la génération d’images. Leurs résultats ont été publiés dans Systèmes experts avec applications.

Il s’agit de la première application de ce modèle de diffusion dans le domaine du MFIF, qui, selon les chercheurs, offre une nouvelle façon de penser la recherche dans ce domaine.

Les expériences montrent que FusionDiff surpasse les algorithmes MFIF traditionnels en termes d’effet de fusion d’images et de performances d’apprentissage en quelques prises de vue.

« De plus, FusionDiff est un modèle d’apprentissage en quelques étapes, ce qui signifie qu’il ne nécessite pas beaucoup d’efforts pour générer de grands ensembles de données », a déclaré Fu.

Les résultats de fusion obtenus par FusionDiff sont indépendants d’une grande quantité de données d’entraînement, selon Fu. « Il réalise la transformation d’une approche basée sur les données vers une approche basée sur des modèles », a-t-il déclaré.

Leur étude montre que FusionDiff obtient la même qualité de résultats de fusion que les autres algorithmes avec seulement 2 % des données d’entraînement qu’ils utilisent. Cela réduit considérablement la dépendance du modèle de fusion à l’égard de l’ensemble de données, a déclaré Fu.