MeshAnything V2: Geração de Malha Criada por Artistas com Tokenização de Malha Adjacente

MeshAnything V2: Artist-Created Mesh Generation With Adjacent Mesh Tokenization

August 5, 2024

Autores: Yiwen Chen, Yikai Wang, Yihao Luo, Zhengyi Wang, Zilong Chen, Jun Zhu, Chi Zhang, Guosheng Lin

cs.AI

Resumo

Apresentamos o MeshAnything V2, um transformador autoregressivo que gera Malhas Criadas por Artistas (AM) alinhadas a formas fornecidas. Pode ser integrado a várias linhas de produção de ativos 3D para alcançar geração de AM de alta qualidade e altamente controlável. O MeshAnything V2 supera os métodos anteriores tanto em eficiência quanto em desempenho usando modelos do mesmo tamanho. Essas melhorias são devidas ao nosso método de tokenização de malha recém-proposto: Tokenização de Malha Adjacente (AMT). Diferente de métodos anteriores que representam cada face com três vértices, o AMT usa um único vértice sempre que possível. Comparado aos métodos anteriores, o AMT requer cerca da metade do comprimento da sequência de tokens para representar a mesma malha em média. Além disso, as sequências de tokens do AMT são mais compactas e bem estruturadas, beneficiando fundamentalmente a geração de AM. Nossos experimentos extensivos mostram que o AMT melhora significativamente a eficiência e o desempenho da geração de AM. Página do Projeto: https://buaacyw.github.io/meshanything-v2/

English

We introduce MeshAnything V2, an autoregressive transformer that generates Artist-Created Meshes (AM) aligned to given shapes. It can be integrated with various 3D asset production pipelines to achieve high-quality, highly controllable AM generation. MeshAnything V2 surpasses previous methods in both efficiency and performance using models of the same size. These improvements are due to our newly proposed mesh tokenization method: Adjacent Mesh Tokenization (AMT). Different from previous methods that represent each face with three vertices, AMT uses a single vertex whenever possible. Compared to previous methods, AMT requires about half the token sequence length to represent the same mesh in average. Furthermore, the token sequences from AMT are more compact and well-structured, fundamentally benefiting AM generation. Our extensive experiments show that AMT significantly improves the efficiency and performance of AM generation. Project Page: https://buaacyw.github.io/meshanything-v2/