Un nouveau réseau neuronal pour préserver le patrimoine culturel via la reconstruction d'images 3D

Les sculptures en relief ou sculptures en relief sont des objets du patrimoine culturel avec des figures qui dépassent d'un fond tel qu'un mur ou une dalle, créant une impression de profondeur. Communément trouvées sur les sites historiques du monde entier, ces œuvres d’art sont considérées comme ayant une immense valeur historique et culturelle.

Malheureusement, bon nombre de ces reliefs sur les sites du patrimoine à travers le monde souffrent de divers degrés de dommages et de détérioration au fil du temps.

Bien que les techniques modernes de numérisation 3D et de photogrammétrie puissent préserver numériquement leur forme actuelle, elles ne peuvent pas restaurer l'apparence d'origine de ces sculptures avant qu'elles ne soient endommagées. De plus, les méthodes traditionnelles de restauration sont laborieuses et nécessitent une intervention manuelle approfondie et des connaissances spécialisées.

Une méthode prometteuse est la reconstruction numérique 3D de ces reliefs à partir de photos anciennes, prises avant l'endommagement ou la détérioration. Contrairement aux sculptures 3D ou aux peintures 2D, les reliefs ont une faible profondeur et sont destinés à être vus de face ou de chaque côté. Cela signifie qu’une seule image peut fournir efficacement la plupart des informations nécessaires aux algorithmes de reconstruction numérique 3D.

Dans le cadre d'une avancée majeure, une équipe de recherche multinationale dirigée par le professeur Satoshi Tanaka du Collège des sciences et de l'ingénierie de l'information de l'Université de Ritsumeikan, au Japon, et le Dr Jiao Pan, de l'Université des sciences et technologies de Pékin, en Chine, ont développé un système multi-innovant. réseau neuronal de tâches pour la reconstruction 3D et la préservation numérique de reliefs à partir de photos anciennes.

Les résultats sont publiés dans Actes de la 32e Conférence internationale de l'ACM sur le multimédia.

« Auparavant, nous avions proposé une méthode de reconstruction 3D pour les anciens reliefs basée sur une estimation monoculaire de la profondeur à partir de photos. Bien que nous ayons atteint une précision de reconstruction de 95 %, des détails plus fins tels que les visages humains et les décorations manquaient encore », explique le professeur Tanaka.

« Cela était dû à la compression élevée des valeurs de profondeur dans les images en relief 2D, ce qui rendait difficile l'extraction des variations de profondeur le long des bords. Notre nouvelle méthode résout ce problème en améliorant l'estimation de la profondeur, en particulier le long des bords adoucis, en utilisant une nouvelle approche de détection des bords. »

L'équipe comprenait également le professeur Liang Li de l'Université Ritsumeikan et le professeur Xiaojuan Ban de l'Université des sciences et technologies de Pékin. Leur étude a été présentée oralement lors de la conférence internationale ACM Multimedia 2024, qui s'est tenue en Australie en octobre.

Le réseau neuronal multitâche proposé effectue trois tâches, à savoir la segmentation sémantique, l'estimation de la profondeur et la détection des contours flous, qui travaillent ensemble pour améliorer la précision de la reconstruction 3D. La principale force du réseau réside dans son estimation de la profondeur, réalisée grâce à un nouveau détecteur de contours progressifs et un module de correspondance de contours.

Contrairement à la classification binaire conventionnelle des contours, le détecteur de contours progressifs traite la détection des contours des données de relief comme une tâche multi-classification. Les bords des images en relief représentent non seulement des changements de luminosité, mais également des variations de courbure, appelées « bords adoucis ». Le détecteur de bords doux détermine le degré de « douceur » de ces bords dans les images en relief, améliorant ainsi l'estimation de la profondeur.

Le module de correspondance de contours comprend deux détecteurs de contours adoucis qui extraient des cartes de contours adoucis multiclasses et une carte de profondeur à partir d'une photo de relief d'entrée. En faisant correspondre et en détectant les différences entre les deux cartes, le réseau se concentre davantage sur les régions aux contours flous, ce qui permet une estimation plus détaillée de la profondeur.

Enfin, le réseau optimise une fonction de perte dynamique améliorée par les bords, qui inclut la perte des trois tâches, et produit des images 3D claires et détaillées des reliefs.

Les chercheurs ont appliqué ce modèle innovant pour reconstruire les reliefs cachés du temple de Borobudur.

« Les reliefs muraux au rez-de-chaussée du temple de Borobudur, un site du patrimoine mondial de l'UNESCO en Indonésie, sont recouverts de murs en pierre en raison de travaux de renforcement effectués pendant la période coloniale néerlandaise et ne peuvent pas être vus. Notre réseau neuronal multitâche a été reconstruit avec succès. ces sections cachées des reliefs au niveau du sol de Borobudur à partir d'anciennes photographies survivantes. Grâce à la visualisation informatique et à la réalité virtuelle, nos recherches permettent désormais une exploration virtuelle de ces trésors invisibles », explique le professeur Tanaka.

Discutant des implications futures de ces découvertes, il déclare : « Notre technologie recèle un vaste potentiel de préservation et de partage du patrimoine culturel. Elle ouvre de nouvelles opportunités non seulement pour les archéologues mais également pour des expériences virtuelles immersives grâce aux technologies VR et métaverses, préservant ainsi le patrimoine mondial pour les générations futures. « .