DeepMesh: Creación Autoregresiva de Mallas Artísticas con Aprendizaje por Refuerzo

DeepMesh: Auto-Regressive Artist-mesh Creation with Reinforcement Learning

March 19, 2025

Autores: Ruowen Zhao, Junliang Ye, Zhengyi Wang, Guangce Liu, Yiwen Chen, Yikai Wang, Jun Zhu

cs.AI

Resumen

Las mallas triangulares desempeñan un papel crucial en las aplicaciones 3D para la manipulación y renderización eficientes. Si bien los métodos auto-regresivos generan mallas estructuradas al predecir tokens discretos de vértices, a menudo se ven limitados por recuentos de caras reducidos e incompletitud de las mallas. Para abordar estos desafíos, proponemos DeepMesh, un marco que optimiza la generación de mallas mediante dos innovaciones clave: (1) una estrategia de pre-entrenamiento eficiente que incorpora un novedoso algoritmo de tokenización, junto con mejoras en la curación y procesamiento de datos, y (2) la introducción del Aprendizaje por Refuerzo (RL) en la generación de mallas 3D para lograr la alineación con las preferencias humanas mediante la Optimización Directa de Preferencias (DPO). Diseñamos un estándar de puntuación que combina la evaluación humana con métricas 3D para recopilar pares de preferencias para DPO, asegurando tanto el atractivo visual como la precisión geométrica. Condicionado en nubes de puntos e imágenes, DeepMesh genera mallas con detalles intrincados y topología precisa, superando a los métodos más avanzados tanto en precisión como en calidad. Página del proyecto: https://zhaorw02.github.io/DeepMesh/

English

Triangle meshes play a crucial role in 3D applications for efficient manipulation and rendering. While auto-regressive methods generate structured meshes by predicting discrete vertex tokens, they are often constrained by limited face counts and mesh incompleteness. To address these challenges, we propose DeepMesh, a framework that optimizes mesh generation through two key innovations: (1) an efficient pre-training strategy incorporating a novel tokenization algorithm, along with improvements in data curation and processing, and (2) the introduction of Reinforcement Learning (RL) into 3D mesh generation to achieve human preference alignment via Direct Preference Optimization (DPO). We design a scoring standard that combines human evaluation with 3D metrics to collect preference pairs for DPO, ensuring both visual appeal and geometric accuracy. Conditioned on point clouds and images, DeepMesh generates meshes with intricate details and precise topology, outperforming state-of-the-art methods in both precision and quality. Project page: https://zhaorw02.github.io/DeepMesh/