DeepMesh: 강화 학습을 통한 자동 회귀적 아티스트 메시 생성

DeepMesh: Auto-Regressive Artist-mesh Creation with Reinforcement Learning

March 19, 2025

저자: Ruowen Zhao, Junliang Ye, Zhengyi Wang, Guangce Liu, Yiwen Chen, Yikai Wang, Jun Zhu

cs.AI

초록

삼각형 메쉬는 3D 애플리케이션에서 효율적인 조작과 렌더링을 위해 중요한 역할을 합니다. 자동회귀(autoregressive) 방법은 이산적인 정점 토큰을 예측하여 구조화된 메쉬를 생성하지만, 제한된 면 수와 메쉬의 불완전성에 의해 종종 제약을 받습니다. 이러한 문제를 해결하기 위해, 우리는 DeepMesh라는 프레임워크를 제안합니다. DeepMesh는 두 가지 주요 혁신을 통해 메쉬 생성을 최적화합니다: (1) 새로운 토큰화 알고리즘을 포함한 효율적인 사전 학습 전략과 데이터 큐레이션 및 처리의 개선, 그리고 (2) 직접 선호 최적화(Direct Preference Optimization, DPO)를 통해 인간의 선호에 부합하는 3D 메쉬 생성을 위해 강화 학습(Reinforcement Learning, RL)을 도입합니다. 우리는 인간 평가와 3D 메트릭을 결합한 채점 기준을 설계하여 DPO를 위한 선호 쌍을 수집함으로써 시각적 매력과 기하학적 정확성을 모두 보장합니다. 포인트 클라우드와 이미지를 조건으로 하여, DeepMesh는 정교한 디테일과 정확한 토폴로지를 가진 메쉬를 생성하며, 정밀도와 품질 모두에서 최신 기술을 능가합니다. 프로젝트 페이지: https://zhaorw02.github.io/DeepMesh/

English

Triangle meshes play a crucial role in 3D applications for efficient manipulation and rendering. While auto-regressive methods generate structured meshes by predicting discrete vertex tokens, they are often constrained by limited face counts and mesh incompleteness. To address these challenges, we propose DeepMesh, a framework that optimizes mesh generation through two key innovations: (1) an efficient pre-training strategy incorporating a novel tokenization algorithm, along with improvements in data curation and processing, and (2) the introduction of Reinforcement Learning (RL) into 3D mesh generation to achieve human preference alignment via Direct Preference Optimization (DPO). We design a scoring standard that combines human evaluation with 3D metrics to collect preference pairs for DPO, ensuring both visual appeal and geometric accuracy. Conditioned on point clouds and images, DeepMesh generates meshes with intricate details and precise topology, outperforming state-of-the-art methods in both precision and quality. Project page: https://zhaorw02.github.io/DeepMesh/