Des chercheurs développent une IA capable de comprendre la lumière sur les photographies
Malgré des progrès significatifs dans le développement de systèmes d’IA capables de comprendre le monde physique comme le font les humains, les chercheurs ont du mal à modéliser un certain aspect de notre système visuel : la perception de la lumière.
« Déterminer l’influence de la lumière sur une photographie donnée, c’est un peu comme essayer de séparer les ingrédients d’un gâteau déjà cuit », explique Chris Careaga, titulaire d’un doctorat. étudiant au laboratoire de photographie informatique de SFU. La tâche nécessite de défaire les interactions complexes entre la lumière et les surfaces dans une scène. Ce problème est appelé décomposition intrinsèque et est étudié depuis près d’un demi-siècle.
Dans un nouvel article publié dans la revue Transactions ACM sur les graphiques, chercheurs du laboratoire de photographie computationnelle de l’Université Simon Fraser, développent une approche d’IA de la décomposition intrinsèque qui fonctionne sur un large éventail d’images. Leur méthode sépare automatiquement une image en deux calques : un avec uniquement des effets de lumière et un avec les vraies couleurs des objets de la scène.
« La principale innovation derrière notre travail est de créer un système de réseaux de neurones chargés individuellement de résoudre des problèmes plus simples. Ils travaillent ensemble pour comprendre l’éclairage d’une photographie », ajoute Careaga.
Bien que la décomposition intrinsèque soit étudiée depuis des décennies, la nouvelle invention de SFU est la première dans le domaine à accomplir cette tâche pour toute image HD qu’une personne pourrait prendre avec son appareil photo.
« En modifiant l’éclairage et les couleurs séparément, toute une gamme d’applications réservées aux CGI et aux VFX deviennent possibles pour l’édition d’images régulière », explique le Dr Yağız Aksoy, qui dirige le laboratoire de photographie informatique à SFU.
« Cette compréhension physique de la lumière en fait un outil précieux et accessible pour les créateurs de contenu, les éditeurs de photos et les artistes de post-production, ainsi que pour les nouvelles technologies telles que la réalité augmentée et l’informatique spatiale. »
Le groupe a depuis étendu son approche de décomposition intrinsèque, en l’appliquant au problème de la composition d’images. « Lorsque vous insérez un objet ou une personne d’une image dans une autre, il est généralement évident qu’il a été modifié car l’éclairage et les couleurs ne correspondent pas », explique Careaga.
« Grâce à notre technique de décomposition intrinsèque, nous pouvons modifier l’éclairage de l’objet inséré pour le rendre plus réaliste dans la nouvelle scène. » En plus de publier un article à ce sujet, présenté au SIGGRAPH Asia en décembre dernier, le groupe a également développé une interface informatique permettant aux utilisateurs d’éditer de manière interactive l’éclairage de ces images « composites ». S. Mahdi H. Miangoleh, titulaire d’un doctorat. étudiant du laboratoire d’Aksoy, a également contribué à ce travail.
Aksoy et son équipe prévoient d’étendre leurs méthodes à la vidéo pour une utilisation en post-production cinématographique et de développer davantage les capacités de l’IA en termes de montage d’éclairage interactif. Ils mettent l’accent sur une approche de l’IA dans la production cinématographique axée sur la créativité, visant à responsabiliser les productions indépendantes et à petit budget.
Pour mieux comprendre les défis de ces contextes de production, le groupe a développé un studio de photographie informatique sur le campus de l’Université Simon Fraser, où il mène des recherches dans un environnement de production actif.
Les publications ci-dessus représentent quelques-unes des premières étapes du groupe visant à fournir des capacités de montage basées sur l’IA à la riche industrie cinématographique de la Colombie-Britannique.
L’accent mis sur la décomposition intrinsèque permet même aux productions à petit budget d’ajuster facilement l’éclairage, sans nécessiter de reprises coûteuses. Ces innovations soutiennent les cinéastes locaux, maintenant la position de la Colombie-Britannique en tant que plaque tournante mondiale du cinéma, et serviront de base à de nombreuses autres applications basées sur l’IA qui proviendront du Computational Photography Lab de SFU.
