MeshAnything V2: 인접 매쉬 토큰화를 사용한 예술가가 생성한 매쉬입니다.

MeshAnything V2: Artist-Created Mesh Generation With Adjacent Mesh Tokenization

August 5, 2024

저자: Yiwen Chen, Yikai Wang, Yihao Luo, Zhengyi Wang, Zilong Chen, Jun Zhu, Chi Zhang, Guosheng Lin

cs.AI

초록

MeshAnything V2는 주어진 형상에 맞춰 정렬된 아티스트가 생성한 메쉬(Artist-Created Meshes, AM)를 생성하는 자기회귀 트랜스포머입니다. 높은 품질과 높은 제어 가능성을 갖춘 AM 생성을 위해 다양한 3D 에셋 제작 파이프라인과 통합할 수 있습니다. MeshAnything V2는 동일한 크기의 모델을 사용하여 이전 방법을 훌륭히 능가하는 효율성과 성능을 보여줍니다. 이러한 개선은 우리가 새롭게 제안한 메쉬 토큰화 방법, 인접 메쉬 토큰화(Adjacent Mesh Tokenization, AMT)에 기인합니다. 이전 방법들이 각 면을 세 개의 정점으로 표현하는 것과는 달리, AMT는 가능한 경우에는 단일 정점을 사용합니다. 이전 방법들과 비교했을 때, AMT는 동일한 메쉬를 표현하기 위해 평균적으로 토큰 시퀀스 길이의 약 절반만을 요구합니다. 게다가, AMT로부터의 토큰 시퀀스는 더 조밀하고 잘 구조화되어 있어, AM 생성에 근본적인 이점을 제공합니다. 광범위한 실험 결과는 AMT가 AM 생성의 효율성과 성능을 현저히 향상시킨다는 것을 보여줍니다. 프로젝트 페이지: https://buaacyw.github.io/meshanything-v2/

English

We introduce MeshAnything V2, an autoregressive transformer that generates Artist-Created Meshes (AM) aligned to given shapes. It can be integrated with various 3D asset production pipelines to achieve high-quality, highly controllable AM generation. MeshAnything V2 surpasses previous methods in both efficiency and performance using models of the same size. These improvements are due to our newly proposed mesh tokenization method: Adjacent Mesh Tokenization (AMT). Different from previous methods that represent each face with three vertices, AMT uses a single vertex whenever possible. Compared to previous methods, AMT requires about half the token sequence length to represent the same mesh in average. Furthermore, the token sequences from AMT are more compact and well-structured, fundamentally benefiting AM generation. Our extensive experiments show that AMT significantly improves the efficiency and performance of AM generation. Project Page: https://buaacyw.github.io/meshanything-v2/