DeepMesh: Auto-regressieve Artist-mesh Creatie met Reinforcement Learning

DeepMesh: Auto-Regressive Artist-mesh Creation with Reinforcement Learning

March 19, 2025

Auteurs: Ruowen Zhao, Junliang Ye, Zhengyi Wang, Guangce Liu, Yiwen Chen, Yikai Wang, Jun Zhu

cs.AI

Samenvatting

Driehoekige meshes spelen een cruciale rol in 3D-toepassingen voor efficiënte manipulatie en rendering. Hoewel autoregressieve methoden gestructureerde meshes genereren door discrete hoekpunttokens te voorspellen, worden ze vaak beperkt door een beperkt aantal vlakken en onvolledigheid van het mesh. Om deze uitdagingen aan te pakken, stellen we DeepMesh voor, een raamwerk dat mesh-generatie optimaliseert door middel van twee belangrijke innovaties: (1) een efficiënte voorafgaande trainingsstrategie die een nieuw tokenisatie-algoritme omvat, samen met verbeteringen in datacuratie en -verwerking, en (2) de introductie van Reinforcement Learning (RL) in 3D-meshgeneratie om afstemming op menselijke voorkeuren te bereiken via Direct Preference Optimization (DPO). We ontwerpen een scoringsstandaard die menselijke evaluatie combineert met 3D-metrics om voorkeursparen voor DPO te verzamelen, waardoor zowel visuele aantrekkelijkheid als geometrische nauwkeurigheid worden gewaarborgd. Gekoppeld aan puntenwolken en afbeeldingen genereert DeepMesh meshes met ingewikkelde details en precieze topologie, wat zowel in precisie als kwaliteit de state-of-the-art methoden overtreft. Projectpagina: https://zhaorw02.github.io/DeepMesh/

English

Triangle meshes play a crucial role in 3D applications for efficient manipulation and rendering. While auto-regressive methods generate structured meshes by predicting discrete vertex tokens, they are often constrained by limited face counts and mesh incompleteness. To address these challenges, we propose DeepMesh, a framework that optimizes mesh generation through two key innovations: (1) an efficient pre-training strategy incorporating a novel tokenization algorithm, along with improvements in data curation and processing, and (2) the introduction of Reinforcement Learning (RL) into 3D mesh generation to achieve human preference alignment via Direct Preference Optimization (DPO). We design a scoring standard that combines human evaluation with 3D metrics to collect preference pairs for DPO, ensuring both visual appeal and geometric accuracy. Conditioned on point clouds and images, DeepMesh generates meshes with intricate details and precise topology, outperforming state-of-the-art methods in both precision and quality. Project page: https://zhaorw02.github.io/DeepMesh/