MeshAnything V2: Generierung von Meshes durch Künstler mit benachbarten Mesh-Tokenisierung.

MeshAnything V2: Artist-Created Mesh Generation With Adjacent Mesh Tokenization

August 5, 2024

Autoren: Yiwen Chen, Yikai Wang, Yihao Luo, Zhengyi Wang, Zilong Chen, Jun Zhu, Chi Zhang, Guosheng Lin

cs.AI

Zusammenfassung

Wir stellen MeshAnything V2 vor, einen autoregressiven Transformer, der Künstler-erstellte Meshes (AM) erzeugt, die an gegebene Formen ausgerichtet sind. Es kann in verschiedene 3D-Asset-Produktionspipelines integriert werden, um eine hochwertige und hochgradig steuerbare AM-Generierung zu erreichen. MeshAnything V2 übertrifft bisherige Methoden sowohl in Effizienz als auch Leistung unter Verwendung von Modellen derselben Größe. Diese Verbesserungen sind auf unsere neu vorgeschlagene Mesh-Tokenisierungsmethode zurückzuführen: Adjacent Mesh Tokenization (AMT). Im Gegensatz zu früheren Methoden, die jedes Gesicht mit drei Eckpunkten darstellen, verwendet AMT einen einzelnen Eckpunkt, wann immer möglich. Im Vergleich zu früheren Methoden erfordert AMT etwa die Hälfte der Tokenfolgenlänge, um das gleiche Mesh im Durchschnitt darzustellen. Darüber hinaus sind die Tokenfolgen von AMT kompakter und gut strukturiert, was der AM-Generierung grundlegend zugutekommt. Unsere umfangreichen Experimente zeigen, dass AMT die Effizienz und Leistung der AM-Generierung signifikant verbessert. Projektseite: https://buaacyw.github.io/meshanything-v2/

English

We introduce MeshAnything V2, an autoregressive transformer that generates Artist-Created Meshes (AM) aligned to given shapes. It can be integrated with various 3D asset production pipelines to achieve high-quality, highly controllable AM generation. MeshAnything V2 surpasses previous methods in both efficiency and performance using models of the same size. These improvements are due to our newly proposed mesh tokenization method: Adjacent Mesh Tokenization (AMT). Different from previous methods that represent each face with three vertices, AMT uses a single vertex whenever possible. Compared to previous methods, AMT requires about half the token sequence length to represent the same mesh in average. Furthermore, the token sequences from AMT are more compact and well-structured, fundamentally benefiting AM generation. Our extensive experiments show that AMT significantly improves the efficiency and performance of AM generation. Project Page: https://buaacyw.github.io/meshanything-v2/