MeshAnything V2: 隣接メッシュトークン化を用いたアーティスト作成メッシュ生成

MeshAnything V2: Artist-Created Mesh Generation With Adjacent Mesh Tokenization

August 5, 2024

著者: Yiwen Chen, Yikai Wang, Yihao Luo, Zhengyi Wang, Zilong Chen, Jun Zhu, Chi Zhang, Guosheng Lin

cs.AI

要旨

MeshAnything V2を紹介します。これは、与えられた形状に整合するアーティスト作成メッシュ（AM）を生成する自己回帰型トランスフォーマーです。様々な3Dアセット制作パイプラインに統合可能で、高品質かつ高度に制御可能なAM生成を実現します。MeshAnything V2は、同じサイズのモデルを使用しながら、従来の手法を効率と性能の両面で凌駕します。これらの改善は、新たに提案されたメッシュトークン化手法「Adjacent Mesh Tokenization（AMT）」によるものです。従来の手法では各面を3つの頂点で表現していましたが、AMTでは可能な限り単一の頂点を使用します。AMTは、同じメッシュを表現するために必要なトークンシーケンスの長さを平均で約半分に削減します。さらに、AMTによるトークンシーケンスはよりコンパクトで構造化されており、AM生成に根本的な利点をもたらします。我々の広範な実験により、AMTがAM生成の効率と性能を大幅に向上させることが示されました。プロジェクトページ：https://buaacyw.github.io/meshanything-v2/

English

We introduce MeshAnything V2, an autoregressive transformer that generates Artist-Created Meshes (AM) aligned to given shapes. It can be integrated with various 3D asset production pipelines to achieve high-quality, highly controllable AM generation. MeshAnything V2 surpasses previous methods in both efficiency and performance using models of the same size. These improvements are due to our newly proposed mesh tokenization method: Adjacent Mesh Tokenization (AMT). Different from previous methods that represent each face with three vertices, AMT uses a single vertex whenever possible. Compared to previous methods, AMT requires about half the token sequence length to represent the same mesh in average. Furthermore, the token sequences from AMT are more compact and well-structured, fundamentally benefiting AM generation. Our extensive experiments show that AMT significantly improves the efficiency and performance of AM generation. Project Page: https://buaacyw.github.io/meshanything-v2/