DeepMesh : Création auto-régressive de maillages artistiques par apprentissage par renforcement

DeepMesh: Auto-Regressive Artist-mesh Creation with Reinforcement Learning

March 19, 2025

Auteurs: Ruowen Zhao, Junliang Ye, Zhengyi Wang, Guangce Liu, Yiwen Chen, Yikai Wang, Jun Zhu

cs.AI

Résumé

Les maillages triangulaires jouent un rôle crucial dans les applications 3D pour une manipulation et un rendu efficaces. Bien que les méthodes auto-régressives génèrent des maillages structurés en prédisant des tokens de sommets discrets, elles sont souvent limitées par un nombre de faces restreint et une incomplétude des maillages. Pour relever ces défis, nous proposons DeepMesh, un cadre qui optimise la génération de maillages grâce à deux innovations clés : (1) une stratégie de pré-entraînement efficace intégrant un nouvel algorithme de tokenisation, ainsi que des améliorations dans la curation et le traitement des données, et (2) l'introduction de l'apprentissage par renforcement (RL) dans la génération de maillages 3D pour aligner les préférences humaines via l'Optimisation Directe des Préférences (DPO). Nous concevons un standard de notation qui combine l'évaluation humaine avec des métriques 3D pour collecter des paires de préférences pour la DPO, garantissant à la fois un attrait visuel et une précision géométrique. Conditionné sur des nuages de points et des images, DeepMesh génère des maillages avec des détails complexes et une topologie précise, surpassant les méthodes de pointe en termes de précision et de qualité. Page du projet : https://zhaorw02.github.io/DeepMesh/

English

Triangle meshes play a crucial role in 3D applications for efficient manipulation and rendering. While auto-regressive methods generate structured meshes by predicting discrete vertex tokens, they are often constrained by limited face counts and mesh incompleteness. To address these challenges, we propose DeepMesh, a framework that optimizes mesh generation through two key innovations: (1) an efficient pre-training strategy incorporating a novel tokenization algorithm, along with improvements in data curation and processing, and (2) the introduction of Reinforcement Learning (RL) into 3D mesh generation to achieve human preference alignment via Direct Preference Optimization (DPO). We design a scoring standard that combines human evaluation with 3D metrics to collect preference pairs for DPO, ensuring both visual appeal and geometric accuracy. Conditioned on point clouds and images, DeepMesh generates meshes with intricate details and precise topology, outperforming state-of-the-art methods in both precision and quality. Project page: https://zhaorw02.github.io/DeepMesh/