MeshAnything V2: Generazione di Mesh Create da Artisti con Tokenizzazione di Mesh Adiacenti
MeshAnything V2: Artist-Created Mesh Generation With Adjacent Mesh Tokenization
August 5, 2024
Autori: Yiwen Chen, Yikai Wang, Yihao Luo, Zhengyi Wang, Zilong Chen, Jun Zhu, Chi Zhang, Guosheng Lin
cs.AI
Abstract
Presentiamo MeshAnything V2, un trasformatore autoregressivo che genera Mesh Create dall'Artista (AM) allineate a forme date. Può essere integrato in varie pipeline di produzione di asset 3D per ottenere una generazione di AM di alta qualità e altamente controllabile. MeshAnything V2 supera i metodi precedenti sia in efficienza che in prestazioni utilizzando modelli della stessa dimensione. Questi miglioramenti sono dovuti al nostro nuovo metodo di tokenizzazione delle mesh: Adjacent Mesh Tokenization (AMT). A differenza dei metodi precedenti che rappresentano ogni faccia con tre vertici, AMT utilizza un singolo vertice ove possibile. Rispetto ai metodi precedenti, AMT richiede circa la metà della lunghezza della sequenza di token per rappresentare la stessa mesh in media. Inoltre, le sequenze di token di AMT sono più compatte e ben strutturate, apportando benefici fondamentali alla generazione di AM. I nostri esperimenti estesi dimostrano che AMT migliora significativamente l'efficienza e le prestazioni della generazione di AM. Pagina del progetto: https://buaacyw.github.io/meshanything-v2/
English
We introduce MeshAnything V2, an autoregressive transformer that generates
Artist-Created Meshes (AM) aligned to given shapes. It can be integrated with
various 3D asset production pipelines to achieve high-quality, highly
controllable AM generation. MeshAnything V2 surpasses previous methods in both
efficiency and performance using models of the same size. These improvements
are due to our newly proposed mesh tokenization method: Adjacent Mesh
Tokenization (AMT). Different from previous methods that represent each face
with three vertices, AMT uses a single vertex whenever possible. Compared to
previous methods, AMT requires about half the token sequence length to
represent the same mesh in average. Furthermore, the token sequences from AMT
are more compact and well-structured, fundamentally benefiting AM generation.
Our extensive experiments show that AMT significantly improves the efficiency
and performance of AM generation. Project Page:
https://buaacyw.github.io/meshanything-v2/