DeepMesh: Creazione Auto-Regressiva di Mesh Artistiche con Apprendimento per Rinforzo

DeepMesh: Auto-Regressive Artist-mesh Creation with Reinforcement Learning

March 19, 2025

Autori: Ruowen Zhao, Junliang Ye, Zhengyi Wang, Guangce Liu, Yiwen Chen, Yikai Wang, Jun Zhu

cs.AI

Abstract

Le mesh triangolari svolgono un ruolo cruciale nelle applicazioni 3D per una manipolazione e rendering efficienti. Sebbene i metodi auto-regressivi generino mesh strutturate prevedendo token discreti dei vertici, sono spesso limitati da un numero ridotto di facce e da incompletezza della mesh. Per affrontare queste sfide, proponiamo DeepMesh, un framework che ottimizza la generazione di mesh attraverso due innovazioni chiave: (1) una strategia di pre-addestramento efficiente che incorpora un nuovo algoritmo di tokenizzazione, insieme a miglioramenti nella curatela e nel processing dei dati, e (2) l'introduzione del Reinforcement Learning (RL) nella generazione di mesh 3D per ottenere un allineamento alle preferenze umane tramite Direct Preference Optimization (DPO). Progettiamo uno standard di valutazione che combina la valutazione umana con metriche 3D per raccogliere coppie di preferenze per il DPO, garantendo sia l'attrattiva visiva che l'accuratezza geometrica. Condizionato su nuvole di punti e immagini, DeepMesh genera mesh con dettagli intricati e topologia precisa, superando i metodi all'avanguardia sia in precisione che in qualità. Pagina del progetto: https://zhaorw02.github.io/DeepMesh/

English

Triangle meshes play a crucial role in 3D applications for efficient manipulation and rendering. While auto-regressive methods generate structured meshes by predicting discrete vertex tokens, they are often constrained by limited face counts and mesh incompleteness. To address these challenges, we propose DeepMesh, a framework that optimizes mesh generation through two key innovations: (1) an efficient pre-training strategy incorporating a novel tokenization algorithm, along with improvements in data curation and processing, and (2) the introduction of Reinforcement Learning (RL) into 3D mesh generation to achieve human preference alignment via Direct Preference Optimization (DPO). We design a scoring standard that combines human evaluation with 3D metrics to collect preference pairs for DPO, ensuring both visual appeal and geometric accuracy. Conditioned on point clouds and images, DeepMesh generates meshes with intricate details and precise topology, outperforming state-of-the-art methods in both precision and quality. Project page: https://zhaorw02.github.io/DeepMesh/