TreeMeshGPT: 자율 회귀 트리 시퀀싱을 통한 예술적 메시 생성

TreeMeshGPT: Artistic Mesh Generation with Autoregressive Tree Sequencing

March 14, 2025

저자: Stefan Lionar, Jiabin Liang, Gim Hee Lee

cs.AI

초록

우리는 입력 포인트 클라우드와 정렬된 고품질 예술적 메시를 생성하도록 설계된 자동회귀 트랜스포머인 TreeMeshGPT를 소개합니다. 기존의 자동회귀 트랜스포머에서 사용되는 다음 토큰 예측 대신, 우리는 메시 내 면들의 삼각형 인접성을 기반으로 동적으로 성장하는 트리 구조에서 다음 입력 토큰을 검색하는 새로운 자동회귀 트리 시퀀싱(Autoregressive Tree Sequencing)을 제안합니다. 우리의 시퀀싱 방식은 각 단계에서 마지막으로 생성된 삼각형 면으로부터 메시가 지역적으로 확장되도록 하여, 학습 난이도를 줄이고 메시 품질을 향상시킵니다. 우리의 접근 방식은 각 삼각형 면을 두 개의 토큰으로 표현함으로써, 단순한 면 토큰화 방식에 비해 약 22%의 압축률을 달성합니다. 이 효율적인 토큰화는 우리의 모델이 강력한 포인트 클라우드 조건화를 통해 매우 세부적인 예술적 메시를 생성할 수 있게 하여, 이전 방법들보다 용량과 충실도 면에서 우수한 성능을 보입니다. 또한, 우리의 방법은 강력한 법선 방향 제약을 가진 메시를 생성하여, 이전 방법들에서 흔히 발생하는 뒤집힌 법선을 최소화합니다. 실험 결과, TreeMeshGPT는 세부 사항과 법선 방향 일관성이 개선된 메시 생성 품질을 보여줍니다.

English

We introduce TreeMeshGPT, an autoregressive Transformer designed to generate high-quality artistic meshes aligned with input point clouds. Instead of the conventional next-token prediction in autoregressive Transformer, we propose a novel Autoregressive Tree Sequencing where the next input token is retrieved from a dynamically growing tree structure that is built upon the triangle adjacency of faces within the mesh. Our sequencing enables the mesh to extend locally from the last generated triangular face at each step, and therefore reduces training difficulty and improves mesh quality. Our approach represents each triangular face with two tokens, achieving a compression rate of approximately 22% compared to the naive face tokenization. This efficient tokenization enables our model to generate highly detailed artistic meshes with strong point cloud conditioning, surpassing previous methods in both capacity and fidelity. Furthermore, our method generates mesh with strong normal orientation constraints, minimizing flipped normals commonly encountered in previous methods. Our experiments show that TreeMeshGPT enhances the mesh generation quality with refined details and normal orientation consistency.