MeshAnything : Génération de maillages par des artistes avec des transformateurs autorégressifs

MeshAnything: Artist-Created Mesh Generation with Autoregressive Transformers

June 14, 2024

Auteurs: Yiwen Chen, Tong He, Di Huang, Weicai Ye, Sijin Chen, Jiaxiang Tang, Xin Chen, Zhongang Cai, Lei Yang, Gang Yu, Guosheng Lin, Chi Zhang

cs.AI

Résumé

Récemment, les actifs 3D créés par reconstruction et génération ont atteint une qualité comparable à celle des actifs conçus manuellement, soulignant leur potentiel de remplacement. Cependant, ce potentiel reste largement inexploité car ces actifs doivent toujours être convertis en maillages pour les applications de l'industrie 3D, et les maillages produits par les méthodes actuelles d'extraction de maillages sont nettement inférieurs aux Maillages Créés par des Artistes (MCA), c'est-à-dire les maillages créés par des artistes humains. Plus précisément, les méthodes actuelles d'extraction de maillages reposent sur des faces denses et ignorent les caractéristiques géométriques, entraînant des inefficacités, un post-traitement complexe et une qualité de représentation moindre. Pour résoudre ces problèmes, nous présentons MeshAnything, un modèle qui traite l'extraction de maillages comme un problème de génération, produisant des MCA alignés avec des formes spécifiées. En convertissant des actifs 3D dans toute représentation 3D en MCA, MeshAnything peut être intégré à diverses méthodes de production d'actifs 3D, améliorant ainsi leur application dans l'industrie 3D. L'architecture de MeshAnything comprend un VQ-VAE et un transformeur décodeur uniquement conditionné par la forme. Nous apprenons d'abord un vocabulaire de maillages à l'aide du VQ-VAE, puis nous entraînons le transformeur décodeur uniquement conditionné par la forme sur ce vocabulaire pour une génération de maillages autorégressive conditionnée par la forme. Nos expériences approfondies montrent que notre méthode génère des MCA avec des centaines de fois moins de faces, améliorant considérablement l'efficacité du stockage, du rendu et de la simulation, tout en atteignant une précision comparable aux méthodes précédentes.

English

Recently, 3D assets created via reconstruction and generation have matched the quality of manually crafted assets, highlighting their potential for replacement. However, this potential is largely unrealized because these assets always need to be converted to meshes for 3D industry applications, and the meshes produced by current mesh extraction methods are significantly inferior to Artist-Created Meshes (AMs), i.e., meshes created by human artists. Specifically, current mesh extraction methods rely on dense faces and ignore geometric features, leading to inefficiencies, complicated post-processing, and lower representation quality. To address these issues, we introduce MeshAnything, a model that treats mesh extraction as a generation problem, producing AMs aligned with specified shapes. By converting 3D assets in any 3D representation into AMs, MeshAnything can be integrated with various 3D asset production methods, thereby enhancing their application across the 3D industry. The architecture of MeshAnything comprises a VQ-VAE and a shape-conditioned decoder-only transformer. We first learn a mesh vocabulary using the VQ-VAE, then train the shape-conditioned decoder-only transformer on this vocabulary for shape-conditioned autoregressive mesh generation. Our extensive experiments show that our method generates AMs with hundreds of times fewer faces, significantly improving storage, rendering, and simulation efficiencies, while achieving precision comparable to previous methods.