MeshAnything: Generazione di Mesh Creata dall'Artista con Trasformatori Autoregressivi

MeshAnything: Artist-Created Mesh Generation with Autoregressive Transformers

June 14, 2024

Autori: Yiwen Chen, Tong He, Di Huang, Weicai Ye, Sijin Chen, Jiaxiang Tang, Xin Chen, Zhongang Cai, Lei Yang, Gang Yu, Guosheng Lin, Chi Zhang

cs.AI

Abstract

Recentemente, gli asset 3D creati tramite ricostruzione e generazione hanno raggiunto la qualità degli asset realizzati manualmente, evidenziando il loro potenziale di sostituzione. Tuttavia, questo potenziale è in gran parte irrealizzato perché questi asset devono sempre essere convertiti in mesh per le applicazioni dell'industria 3D, e le mesh prodotte dai metodi attuali di estrazione delle mesh sono significativamente inferiori alle Mesh Create da Artisti (AMs), ovvero mesh create da artisti umani. Nello specifico, i metodi attuali di estrazione delle mesh si basano su facce dense e ignorano le caratteristiche geometriche, portando a inefficienze, post-elaborazioni complicate e una qualità di rappresentazione inferiore. Per affrontare questi problemi, introduciamo MeshAnything, un modello che tratta l'estrazione delle mesh come un problema di generazione, producendo AMs allineate con forme specificate. Convertendo asset 3D in qualsiasi rappresentazione 3D in AMs, MeshAnything può essere integrato con vari metodi di produzione di asset 3D, migliorando così la loro applicazione nell'industria 3D. L'architettura di MeshAnything comprende un VQ-VAE e un trasformatore decoder-only condizionato dalla forma. Inizialmente apprendiamo un vocabolario di mesh utilizzando il VQ-VAE, poi addestriamo il trasformatore decoder-only condizionato dalla forma su questo vocabolario per la generazione autoregressiva di mesh condizionata dalla forma. I nostri ampi esperimenti dimostrano che il nostro metodo genera AMs con centinaia di volte meno facce, migliorando significativamente l'efficienza di archiviazione, rendering e simulazione, raggiungendo una precisione comparabile ai metodi precedenti.

English

Recently, 3D assets created via reconstruction and generation have matched the quality of manually crafted assets, highlighting their potential for replacement. However, this potential is largely unrealized because these assets always need to be converted to meshes for 3D industry applications, and the meshes produced by current mesh extraction methods are significantly inferior to Artist-Created Meshes (AMs), i.e., meshes created by human artists. Specifically, current mesh extraction methods rely on dense faces and ignore geometric features, leading to inefficiencies, complicated post-processing, and lower representation quality. To address these issues, we introduce MeshAnything, a model that treats mesh extraction as a generation problem, producing AMs aligned with specified shapes. By converting 3D assets in any 3D representation into AMs, MeshAnything can be integrated with various 3D asset production methods, thereby enhancing their application across the 3D industry. The architecture of MeshAnything comprises a VQ-VAE and a shape-conditioned decoder-only transformer. We first learn a mesh vocabulary using the VQ-VAE, then train the shape-conditioned decoder-only transformer on this vocabulary for shape-conditioned autoregressive mesh generation. Our extensive experiments show that our method generates AMs with hundreds of times fewer faces, significantly improving storage, rendering, and simulation efficiencies, while achieving precision comparable to previous methods.