Un réseau neuronal léger permet un rendu réaliste des tissus tissés en temps réel

Les avancées récentes dans le domaine de l’intelligence artificielle (IA) et de l’informatique ont permis le développement de nouveaux outils pour créer des médias très réalistes, des environnements de réalité virtuelle (RV) et des jeux vidéo. Nombre de ces outils sont désormais largement utilisés par les graphistes, les créateurs de films d’animation et les développeurs de jeux vidéo du monde entier.

Les tissus sont un aspect des environnements virtuels et créés numériquement qui peut être difficile à reproduire de manière réaliste. Bien qu'il existe déjà divers outils informatiques permettant de concevoir numériquement des articles réalistes à base de tissu (par exemple, des écharpes, des couvertures, des oreillers, des vêtements, etc.), la création et l'édition de rendus réalistes de ces tissus en temps réel peuvent s'avérer difficiles.

Des chercheurs de l'Université de Shandong et de l'Université de Nanjing ont récemment présenté un nouveau réseau neuronal artificiel léger pour le rendu en temps réel de tissus tissés. Leur réseau proposé, présenté dans un article publié dans le cadre du projet Conférence du groupe d'intérêt spécial sur l'infographie et les techniques interactives Actes de la conférence '24fonctionne en codant les motifs et les paramètres des tissus sous la forme d'un petit vecteur latent, qui peut ensuite être interprété par un décodeur pour produire des représentations réalistes de divers tissus.

« Notre papier vient de la [desire] « Pour améliorer le réalisme du monde virtuel en temps réel », a déclaré Xiang Chen, co-auteur de l'article, à Tech Xplore. « Les tissus sont largement utilisés et influencent le réalisme, il est donc indispensable de disposer d'une méthode permettant de restituer des tissus réels en temps réel. Nous avons constaté que les derniers modèles de tissus basés sur la surface sont légers mais réalistes, ce qui constitue une base pour le rendu de tissus en temps réel. Nous avons donc essayé de proposer une méthode pour y parvenir. »

Les motifs des tissus tissés (c'est-à-dire les motifs observés dans les textiles formés de fils tissés) ont tendance à être réguliers et répétitifs. Chen et ses collègues ont cherché à exploiter leur nature répétitive pour permettre leur rendu réaliste en temps réel.

L'algorithme qu'ils ont développé consiste tout d'abord à encoder les motifs réguliers des tissus tissés dans un petit vecteur latent. Ce vecteur est ensuite traité par un petit décodeur, qui l'interprète et utilise les informations qu'il contient pour produire des représentations réalistes d'un tissu donné.

« Nous proposons un réseau neuronal avec une structure encodeur-décodeur », explique Chen.

« En codant les matériaux en tissu tissé dans des vecteurs latents, notre réseau peut représenter plusieurs types de tissus tissés une fois formé. De plus, nous avons découvert que la distribution de notre cible est complexe mais peut être séparée. Ainsi, nous la séparons en quatre parties plus simples, permettant à un décodeur léger de les représenter. »

Bien que le réseau développé par les chercheurs soit minuscule et léger, il permet de créer efficacement et rapidement des reproductions réalistes de nombreux types de tissus. Contrairement à d'autres approches informatiques introduites dans le passé, il permet également le rendu et l'édition ultérieure des tissus rendus en temps réel.

Lors des premiers tests, Chen et ses collègues ont montré que leur algorithme permettait le rendu et l'édition de tissus tissés à une vitesse remarquable de 60 images par seconde sur une carte graphique NVIDIA RTX 3090. Il peut également produire des rendus de haute qualité, exempts de bruit visible et de défauts discernables.

À l’avenir, le réseau neuronal de l’équipe pourrait être intégré dans des plateformes de conception graphique, ce qui permettrait aux concepteurs d’améliorer encore le réalisme des jeux vidéo ou des animations qu’ils créent. En attendant, Chen et ses collègues prévoient d’étendre les capacités de leur algorithme, par exemple en lui permettant de reproduire de manière réaliste d’autres textiles que les tissus tissés.

« En introduisant des modèles de représentation de tissu dans le rendu en temps réel, notre approche pourrait encore améliorer le réalisme de diverses applications du monde réel, telles que les jeux vidéo », a ajouté Chen.

« Actuellement, notre méthode ne prend en charge que les tissus tissés, mais nous souhaitons bientôt l'étendre à d'autres types de tissus, comme les tissus tricotés. Une autre direction que nous envisageons d'explorer est la représentation de tissus plus complexes. »