Apprendre à l’IA à coloriser avec précision les images de plancton marin

Le plancton est fondamental pour l’écosystème marin et un moyen indispensable de la gestion moderne de l’écologie marine. Étant donné que des études antérieures ont montré que le zooplancton est insensible à la lumière à grande longueur d’onde (c’est-à-dire rouge), cette lumière est souvent utilisée pour faire des images du plancton dans le cadre du processus de gestion écologique. Malheureusement, la lumière rouge ne produit que des images en niveaux de gris du plancton, perdant ainsi des informations sur leur vraie couleur.

En réponse à ce problème, une équipe de recherche dirigée par le Dr Li Jianping du Shenzhen Institute of Advanced Technology (SIAT) de l’Académie chinoise des sciences (CAS) a récemment développé un algorithme de colorisation automatique du plancton, le réseau IsPlanktonCLR, basé sur la convolution profonde. les réseaux de neurones.

L’algorithme est formé pour convertir des images grises acquises sous un éclairage rouge en images couleur haute fidélité. Il peut automatiquement et fidèlement « teindre » les images en niveaux de gris du plancton marin prises sous l’eau dans leurs couleurs naturelles, et l’effet de colorisation est très proche de la perception de l’œil humain.

L’étude a été publiée lors de la Conférence européenne sur la vision par ordinateur (ECCV), qui s’est tenue en Israël du 23 au 27 octobre.

Des chercheurs de l’Université de Xiamen et de l’Institut de technologie de Harbin (Shenzhen) ont également participé à la recherche.

Le réseau IsPlanktonCLR utilise une structure à deux voies avec une fonction d’auto-guidage, une palette de couleurs personnalisée et une fonction de perte de mise au point progressive pour obtenir une colorisation automatique des images en niveaux de gris du plancton. Il montre une excellente précision et fidélité dans la restauration des couleurs pour les espèces rares et les parties clés des espèces communes.

Afin de former et de développer l’algorithme IsPlanktonCLR, l’équipe a construit un ensemble de données contenant des milliers de paires d’images de plancton couleur-gris. À l’aide de cet ensemble de données, l’équipe a non seulement formé l’algorithme de colorisation, mais a également comparé ses performances avec des algorithmes de colorisation de pointe. Les résultats expérimentaux ont montré que l’algorithme IsPlanktonCLR offrait les meilleurs résultats non seulement en termes de perception visuelle humaine, mais également en termes de rapport signal sur bruit de crête (PSNR), de similarité structurelle (SSIM), de distance d’inception de Fréchet (FID) et d’autres métriques classiques. fréquemment utilisé en vision industrielle.

De plus, les algorithmes de colorisation existants manquent généralement de métriques d’évaluation objectives et quantitatives. Les métriques d’évaluation existantes ont non seulement des difficultés à simuler la capacité de perception des couleurs de la vision humaine, mais ont également des difficultés à évaluer objectivement la similitude des couleurs entre l’image colorée et l’image de référence.

Par conséquent, les chercheurs ont proposé un indice d’évaluation de la similarité des couleurs, Color Dissimilarity (CDSIM), qui combine un histogramme des couleurs, un vecteur d’agrégation des couleurs, un corrélogramme des couleurs et un dégradé de couleurs. Grâce aux tests sur le plancton marin et les images de scènes naturelles, les chercheurs ont vérifié que le CDSIM est non seulement efficace pour évaluer l’effet des algorithmes de colorisation, mais est également plus adapté à l’évaluation de la colorisation des images dans le domaine de l’imagerie scientifique que d’autres métriques existantes.

« Le développement d’IsPlanktonCLR fournit une nouvelle solution d’intelligence artificielle pour les instruments d’imagerie océanique afin d’obtenir des résultats d’observation précis et réels », a déclaré le Dr Li. « Cela nous fournit de nouveaux moyens techniques pour comprendre l’océan. »