MeshAnything V2: Generación de malla creada por artistas con tokenización de malla adyacente

MeshAnything V2: Artist-Created Mesh Generation With Adjacent Mesh Tokenization

August 5, 2024

Autores: Yiwen Chen, Yikai Wang, Yihao Luo, Zhengyi Wang, Zilong Chen, Jun Zhu, Chi Zhang, Guosheng Lin

cs.AI

Resumen

Presentamos MeshAnything V2, un transformador autoregresivo que genera Mallas Creadas por Artistas (AM) alineadas a formas dadas. Puede integrarse con diversas tuberías de producción de activos 3D para lograr una generación de AM de alta calidad y altamente controlable. MeshAnything V2 supera a los métodos anteriores tanto en eficiencia como en rendimiento utilizando modelos del mismo tamaño. Estas mejoras se deben a nuestro método de tokenización de mallas recién propuesto: Tokenización de Mallas Adyacentes (AMT). A diferencia de métodos anteriores que representan cada cara con tres vértices, AMT utiliza un solo vértice siempre que sea posible. En comparación con métodos anteriores, AMT requiere aproximadamente la mitad de la longitud de secuencia de tokens para representar la misma malla en promedio. Además, las secuencias de tokens de AMT son más compactas y bien estructuradas, beneficiando fundamentalmente la generación de AM. Nuestros extensos experimentos muestran que AMT mejora significativamente la eficiencia y el rendimiento de la generación de AM. Página del Proyecto: https://buaacyw.github.io/meshanything-v2/

English

We introduce MeshAnything V2, an autoregressive transformer that generates Artist-Created Meshes (AM) aligned to given shapes. It can be integrated with various 3D asset production pipelines to achieve high-quality, highly controllable AM generation. MeshAnything V2 surpasses previous methods in both efficiency and performance using models of the same size. These improvements are due to our newly proposed mesh tokenization method: Adjacent Mesh Tokenization (AMT). Different from previous methods that represent each face with three vertices, AMT uses a single vertex whenever possible. Compared to previous methods, AMT requires about half the token sequence length to represent the same mesh in average. Furthermore, the token sequences from AMT are more compact and well-structured, fundamentally benefiting AM generation. Our extensive experiments show that AMT significantly improves the efficiency and performance of AM generation. Project Page: https://buaacyw.github.io/meshanything-v2/