MeshAnything V2 : Génération de maillages créés par des artistes avec tokenisation de maillages adjacents

MeshAnything V2: Artist-Created Mesh Generation With Adjacent Mesh Tokenization

August 5, 2024

Auteurs: Yiwen Chen, Yikai Wang, Yihao Luo, Zhengyi Wang, Zilong Chen, Jun Zhu, Chi Zhang, Guosheng Lin

cs.AI

Résumé

Nous présentons MeshAnything V2, un transformeur autorégressif qui génère des maillages créés par des artistes (AM) alignés sur des formes données. Il peut être intégré à divers pipelines de production d'actifs 3D pour réaliser une génération d'AM de haute qualité et hautement contrôlable. MeshAnything V2 surpasse les méthodes précédentes à la fois en efficacité et en performance en utilisant des modèles de même taille. Ces améliorations sont dues à notre nouvelle méthode de tokenisation de maillage : la tokenisation de maillage adjacente (AMT). Contrairement aux méthodes précédentes qui représentent chaque face avec trois sommets, AMT utilise un seul sommet chaque fois que possible. Par rapport aux méthodes précédentes, AMT nécessite environ la moitié de la longueur de séquence de tokens pour représenter le même maillage en moyenne. De plus, les séquences de tokens issues d'AMT sont plus compactes et bien structurées, ce qui profite fondamentalement à la génération d'AM. Nos expériences approfondies montrent qu'AMT améliore significativement l'efficacité et la performance de la génération d'AM. Page du projet : https://buaacyw.github.io/meshanything-v2/

English

We introduce MeshAnything V2, an autoregressive transformer that generates Artist-Created Meshes (AM) aligned to given shapes. It can be integrated with various 3D asset production pipelines to achieve high-quality, highly controllable AM generation. MeshAnything V2 surpasses previous methods in both efficiency and performance using models of the same size. These improvements are due to our newly proposed mesh tokenization method: Adjacent Mesh Tokenization (AMT). Different from previous methods that represent each face with three vertices, AMT uses a single vertex whenever possible. Compared to previous methods, AMT requires about half the token sequence length to represent the same mesh in average. Furthermore, the token sequences from AMT are more compact and well-structured, fundamentally benefiting AM generation. Our extensive experiments show that AMT significantly improves the efficiency and performance of AM generation. Project Page: https://buaacyw.github.io/meshanything-v2/