MeshAnything V2: Meshgeneratie door kunstenaars met aangrenzende mesh-tokenisatie

MeshAnything V2: Artist-Created Mesh Generation With Adjacent Mesh Tokenization

August 5, 2024

Auteurs: Yiwen Chen, Yikai Wang, Yihao Luo, Zhengyi Wang, Zilong Chen, Jun Zhu, Chi Zhang, Guosheng Lin

cs.AI

Samenvatting

We introduceren MeshAnything V2, een autoregressieve transformer die Artist-Created Meshes (AM) genereert die zijn uitgelijnd met gegeven vormen. Het kan worden geïntegreerd met diverse 3D-assetproductiepijplijnen om hoogwaardige, zeer controleerbare AM-generatie te bereiken. MeshAnything V2 overtreft eerdere methoden zowel in efficiëntie als prestaties bij gebruik van modellen van dezelfde grootte. Deze verbeteringen zijn te danken aan onze nieuw voorgestelde mesh-tokenisatiemethode: Adjacent Mesh Tokenization (AMT). In tegenstelling tot eerdere methoden die elk vlak met drie hoekpunten representeren, gebruikt AMT waar mogelijk een enkel hoekpunt. Vergeleken met eerdere methoden vereist AMT gemiddeld ongeveer de helft van de tokensequentielengte om hetzelfde mesh te representeren. Bovendien zijn de tokensequenties van AMT compacter en beter gestructureerd, wat fundamenteel ten goede komt aan AM-generatie. Onze uitgebreide experimenten tonen aan dat AMT de efficiëntie en prestaties van AM-generatie aanzienlijk verbetert. Projectpagina: https://buaacyw.github.io/meshanything-v2/

English

We introduce MeshAnything V2, an autoregressive transformer that generates Artist-Created Meshes (AM) aligned to given shapes. It can be integrated with various 3D asset production pipelines to achieve high-quality, highly controllable AM generation. MeshAnything V2 surpasses previous methods in both efficiency and performance using models of the same size. These improvements are due to our newly proposed mesh tokenization method: Adjacent Mesh Tokenization (AMT). Different from previous methods that represent each face with three vertices, AMT uses a single vertex whenever possible. Compared to previous methods, AMT requires about half the token sequence length to represent the same mesh in average. Furthermore, the token sequences from AMT are more compact and well-structured, fundamentally benefiting AM generation. Our extensive experiments show that AMT significantly improves the efficiency and performance of AM generation. Project Page: https://buaacyw.github.io/meshanything-v2/