L'outil IA qui pourrait rendre la fabrication plus rapide et plus efficace – en utilisant des briques LEGO
Un nouvel outil alimenté par l'IA créé par des chercheurs de l'école d'informatique de l'Université Carnegie Mellon pourrait changer la façon dont nous fabriquons et construisons des choses.
Brickgpt utilise des invites de texte pour aider les gens – et même les robots – à faire vivre des idées avec des briques LEGO. Il faut un mot simple, tel que «guitare» et crée un guide de brique par briques pour une personne ou un robot pour construire un modèle physiquement stable de cet objet. L'outil est actuellement axé sur la construction avec des briques LEGO, mais transformer une invite de texte en quelque chose de physiquement stable va au-delà du jeu.
« Cette recherche ouvre la voie à la fabrication générative, c'est-à-dire à ce moment que les gens peuvent utiliser un modèle génératif pour concevoir des objets de tous les jours qu'ils peuvent se construire », a déclaré Jun-Yan Zhu, professeur adjoint adjoint de l'informatique et de la robotique de Michael B. Donohue au CMU Robotics Institute (RI).
« Ils peuvent construire une chaise, un canapé ou un jouet pour enfants. Il s'agit d'une nouvelle frontière, une nouvelle utilisation de ces modèles au-delà de la création de vidéos ou de photos de médias sociaux. Ces pièces de jouets en briques sont un support simple, et c'est un point de départ. »
Les chercheurs ont déclaré que cette fusion de l'IA et de la robotique pourrait accélérer le processus de conception et de construction de nouvelles choses.
« Cela pourrait être un énorme avantage pour le monde manufacturier », a déclaré Changliu Liu, professeur agrégé au RI. « Il faut beaucoup de temps pour transformer les idées en conception physique et prototype. Mais si vous pouvez intégrer l'IA génératrice dans le processus, cela peut considérablement améliorer l'efficacité et réduire les barrages routiers pour lancer des projets. »
Actuellement, la démo Brickgpt peut produire des guides étape par étape pour que les humains ou les robots construisent 21 types de modèles à partir de briques LEGO, y compris un boiseau, un canapé et un piano. Si quelqu'un voulait générer un canapé, il taperait le « canapé » dans Brickgpt, qui génère un modèle 3D. Ensuite, un algorithme transforme le modèle 3D en structures en brique et vérification de BrickGPT pour garantir que la structure est stable. Une personne ou un bras robotique peut suivre les étapes et construire le canapé.
Pour former Brickgpt, les chercheurs ont généré StableText2Brick, un ensemble de données contenant plus de 47 000 structures en briques fabriquées à partir de plus de 28 000 objets 3D uniques accompagnés de légendes détaillées. Les chercheurs ont pris un ensemble de données existant de formes 3D, Shapmenetcore et ont converti ces formes en une grille de petits cubes, un processus que l'étude décrit comme voxélisation. Ils ont ensuite formé un modèle de grande langue autorégressif (LLM), qui prédit des valeurs futures en fonction des précédentes.
Par exemple, dans Brickgpt, le LLM prédit la brique suivante basée sur la précédente, garantissant que la structure est stable et ne tombera pas. S'il y a une erreur en cours de route, Brickgpt revient et élimine les points instables pour garantir la stabilité de la structure.
Avec Liu et Zhu, l'équipe de recherche SCS comprend AVA Pun, un doctorant au département d'informatique; Kangle Deng et Ruixuan Liu, doctorants dans le RI; et Deva Ramanan, professeur au RI.
« Si une structure est instable, il y a un processus de recul », a déclaré Pun. « Au cours de cette étape, le modèle détermine quelles briques étaient fausses ou instables et nous retournons au point précédent. Nous détectons l'instabilité avec notre algorithme de raisonnement physique, qui génère un score de stabilité pour chaque brique de la structure. Si le score est suffisamment élevé, cela signifie que la brique était stable. »
Les chercheurs espèrent augmenter ce modèle, ce qui lui permet de générer plus que les 21 objets actuels. Ils espèrent également étendre la diversité de leurs pièces de bibliothèque pour augmenter la précision et la complexité des conceptions générées.
