Les chercheurs enseignent aux réseaux de neurones à ajouter des nuages et de la neige aux images
Nikita Belyakov et Svetlana Illarionova, des chercheurs du Skoltech AI Center, ont présenté une nouvelle méthode de segmentation sémantique de données multispectrales, qui peuvent être utilisées pour reconnaître les nuages, les ombres et les correctifs de neige dans les images satellites. Cette approche augmentera la précision de la reconnaissance des structures climatiques complexes dans les images sans implication humaine supplémentaire dans l’annotation des données.
Les résultats de la recherche sont présentés dans Progrès dans la recherche spatiale. Le code et les exemples sont disponibles sur GitHub.
Les réseaux de neurones convolutionnels sont devenus l’un des meilleurs outils pour la reconnaissance de l’image et de la vidéo. Pour segmenter avec précision les objets, ils ont besoin d’une grande quantité de données d’entraînement de haute qualité qui nécessitent une préparation humaine. Pour améliorer la qualité de la segmentation, différentes approches sont utilisées, telles que les techniques d’augmentation des données.
La nouvelle recherche vise à améliorer la précision de la reconnaissance et de la classification des objets rares ou difficiles à analyser dans les images satellites, telles que les nuages, leurs ombres et les patchs de neige, au stade préliminaire de la préparation des données par satellite pour résoudre les tâches d’analyse environnementale.
Les auteurs ont proposé une approche appelée CSIA – des structures climatisées en détenant des augmentations. Avec lui, les structures climatiques supplémentaires sont « complétées » dans les images originales. Des fragments réalistes générés par des réseaux de neurones sont ajoutés aux domaines où ces objets sont absents, ce qui augmente artificiellement la quantité de données de formation.
« La principale caractéristique de notre approche est que nous« complétons »les structures climatiques réalistes – les clouses, leurs ombres et les patchs de neige – et les intégrer dans des images satellites sans avoir besoin d’annotation manuelle supplémentaire », explique Nikita Belyakov, un doctorat. Étudiant du programme de calcul et de science et d’ingénierie de Skoltech.
« Nous élargissons artificiellement l’échantillon et enseignons au réseau neuronal à ne pas être confus lorsqu’il rencontre des objets rares ou difficiles à segmenter. Notre méthode aide les modèles à mieux comprendre la géométrie et l’optique des objets climatiques, ce qui est particulièrement important lors de l’analyse de grandes régions et des phénomènes météorologiques rares », commente Svetlana Illarionova, qui dirige le groupe de recherche de Skoltech AI Center.
Des expériences ont montré que CSIA améliore considérablement la segmentation des nuages et des ombres sur les données Landsat-8 et dans l’ensemble de données SPARCS. En combinant l’architecture U-Net ++ avec l’approche des soupes modèles, la précision est encore améliorée en faisant la moyenne de plusieurs modèles.
Les auteurs affirment que cette solution combinée permet à la vision par ordinateur d’apprendre des données hétérogènes plus efficacement et reconnaissent de manière plus efficace des classes complexes.
L’étude ouvre des opportunités pour une segmentation plus précise dans une grande variété d’applications, de la surveillance climatique de vastes régions aux projets environnementaux et aux tâches agricoles. Par exemple, la solution facilite l’analyse efficace de la zone forestière, de ses caractéristiques et des changements, même dans les régions du nord avec un pourcentage élevé de nuages, tout en considérant l’impact des conditions climatiques sur les images.
Les chercheurs ont l’intention de continuer à développer la méthode en l’adaptant à d’autres types de données de télédétection et en introduisant plus de mécanismes de production qui sont adaptés aux changements saisonnières et météorologiques.
