L’IA apporte des textures tactiles aux objets imprimés en 3D

Essentiel pour de nombreuses industries allant des images générées par ordinateur hollywoodiennes à la conception des produits, les outils de modélisation 3D utilisent souvent des invites de texte ou d’image pour dicter différents aspects de l’apparence visuelle, comme la couleur et la forme. Bien que cela soit logique en tant que premier point de contact, ces systèmes sont encore limités dans leur réalisme en raison de leur négligence de quelque chose de central à l’expérience humaine: le toucher.

Les propriétés tactiles sont fondamentales pour l’unicité des objets physiques, comme la rugosité, la bosse ou la sensation de matériaux comme le bois ou la pierre. Les méthodes de modélisation existantes nécessitent souvent une expertise avancée de conception assistée par ordinateur et soutiennent rarement les commentaires tactiles qui peuvent être cruciaux pour la façon dont nous percevons et interagissons avec le monde physique.

Dans cet esprit, les chercheurs du MIT en matière d’informatique et de laboratoire d’intelligence artificielle (CSAIL) ont créé un nouveau système pour styliser les modèles 3D à l’aide d’invites d’image, reproduisant efficacement à la fois l’apparence visuelle et les propriétés tactiles. Leurs recherches sont publiées sur le arxiv serveur de préimprimée.

L’outil de style tact de l’équipe CSAIL permet aux créateurs de styliser des modèles 3D basés sur des images tout en incorporant les propriétés tactiles attendues des textures. Tactstyle sépare la stylisation visuelle et géométrique, permettant la réplication des propriétés visuelles et tactiles à partir d’une seule entrée d’image.

doctorat L’étudiant Faraz Faruqi, auteur principal d’un nouvel article sur le projet, a déclaré que Tactstyle pourrait avoir des applications de grande envergure, s’étendant de la décoration intérieure et des accessoires personnels aux outils d’apprentissage tactile. TactStyle permet aux utilisateurs de télécharger une conception de base – comme un support de casque de Thingiverse – et de le personnaliser avec les styles et les textures qu’ils désirent.

Dans l’éducation, les apprenants peuvent explorer diverses textures du monde entier sans quitter la salle de classe, tandis que dans la conception des produits, le prototypage rapide devient plus facile à mesure que les concepteurs impriment rapidement plusieurs itérations pour affiner les qualités tactiles.

« Vous pouvez imaginer utiliser ce type de système pour des objets communs, tels que les supports de téléphone et les cas d’écouteurs, pour permettre des textures plus complexes et améliorer les commentaires tactiles de diverses manières », explique Faruqi, qui a co-écrit le document aux côtés du professeur agrégé du MIT Stefanie Mueller, leader du groupe d’ingénierie d’interaction humaine-ordinateur (HCI) à Csail. « Vous pouvez créer des outils éducatifs tactiles pour démontrer une gamme de concepts différents dans des domaines tels que la biologie, la géométrie et la topographie. »

Les méthodes traditionnelles pour reproduire les textures impliquent l’utilisation de capteurs tactiles spécialisés – tels que Gelsight, développés au MIT – qui touchent physiquement un objet pour capturer sa microgéométrie de surface comme un «champ de hauteur». Mais cela nécessite d’avoir un objet physique ou sa surface enregistrée pour la réplication. TactStyle permet aux utilisateurs de reproduire la microgéométrie de surface en tirant parti de l’IA générative pour générer un champ de hauteur directement à partir d’une image de la texture.

En plus de cela, pour des plates-formes comme le référentiel d’impression 3D Thingiverse, il est difficile de prendre des conceptions individuelles et de les personnaliser. En effet, si un utilisateur n’a pas de fond technique suffisant, le changement de conception couvre manuellement le risque de le « casser » afin qu’il ne puisse plus être imprimé. Tous ces facteurs ont incité Faruqi à s’interroger sur la construction d’un outil qui permet la personnalisation de modèles téléchargeables à un niveau élevé, mais qui préserve également la fonctionnalité.

Dans les expériences, TactStyle a montré des améliorations significatives par rapport aux méthodes de stylisation traditionnelles en générant des corrélations précises entre l’image visuelle d’une texture et son champ de hauteur. Cela permet la réplication des propriétés tactiles directement à partir d’une image. Une expérience psychophysique a montré que les utilisateurs perçoivent les textures générées de Tactstyle comme similaires à la fois aux propriétés tactiles attendues de l’entrée visuelle et aux caractéristiques tactiles de la texture originale, conduisant à une expérience tactile et visuelle unifiée.

Tactstyle exploite une méthode préexistante, appelée « style2fab », pour modifier les canaux de couleur du modèle pour correspondre au style visuel de l’image d’entrée. Les utilisateurs fournissent d’abord une image de la texture souhaitée, puis un autoencoder variationnel affiné est utilisé pour traduire l’image d’entrée en un champ de hauteur correspondant. Ce champ de hauteur est ensuite appliqué pour modifier la géométrie du modèle pour créer les propriétés tactiles.

Les modules de stylisation de couleur et de géométrie fonctionnent en tandem, stylisant à la fois les propriétés visuelles et tactiles du modèle 3D à partir d’une seule entrée d’image. Faruqi dit que l’innovation principale réside dans le module de stylisation de géométrie, qui utilise un modèle de diffusion à réglage fin pour générer des champs de hauteur à partir d’images de texture – quelque chose des cadres de stylisation précédents ne se répliquent pas avec précision.

Pour l’avenir, Faruqi dit que l’équipe vise à étendre le style tact pour générer de nouveaux modèles 3D en utilisant une IA générative avec des textures intégrées. Cela nécessite d’explorer exactement le type de pipeline nécessaire pour reproduire à la fois la forme et la fonction des modèles 3D fabriqués. Ils prévoient également d’enquêter sur les «décalages visuo-haptiques» pour créer de nouvelles expériences avec des matériaux qui défient les attentes conventionnelles, comme quelque chose qui semble être fait de marbre mais qui a l’impression qu’il est fait de bois.