DeepMesh: Criação Autoregressiva de Malhas Artísticas com Aprendizado por Reforço

DeepMesh: Auto-Regressive Artist-mesh Creation with Reinforcement Learning

March 19, 2025

Autores: Ruowen Zhao, Junliang Ye, Zhengyi Wang, Guangce Liu, Yiwen Chen, Yikai Wang, Jun Zhu

cs.AI

Resumo

Malhas triangulares desempenham um papel crucial em aplicações 3D para manipulação e renderização eficientes. Embora métodos auto-regressivos gerem malhas estruturadas ao prever tokens discretos de vértices, eles frequentemente são limitados por contagens reduzidas de faces e incompletude das malhas. Para enfrentar esses desafios, propomos o DeepMesh, um framework que otimiza a geração de malhas por meio de duas inovações principais: (1) uma estratégia eficiente de pré-treinamento que incorpora um novo algoritmo de tokenização, juntamente com melhorias na curadoria e processamento de dados, e (2) a introdução de Aprendizado por Reforço (RL) na geração de malhas 3D para alinhar as preferências humanas via Otimização Direta de Preferências (DPO). Projetamos um padrão de pontuação que combina avaliação humana com métricas 3D para coletar pares de preferências para o DPO, garantindo tanto apelo visual quanto precisão geométrica. Condicionado em nuvens de pontos e imagens, o DeepMesh gera malhas com detalhes intrincados e topologia precisa, superando métodos state-of-the-art tanto em precisão quanto em qualidade. Página do projeto: https://zhaorw02.github.io/DeepMesh/

English

Triangle meshes play a crucial role in 3D applications for efficient manipulation and rendering. While auto-regressive methods generate structured meshes by predicting discrete vertex tokens, they are often constrained by limited face counts and mesh incompleteness. To address these challenges, we propose DeepMesh, a framework that optimizes mesh generation through two key innovations: (1) an efficient pre-training strategy incorporating a novel tokenization algorithm, along with improvements in data curation and processing, and (2) the introduction of Reinforcement Learning (RL) into 3D mesh generation to achieve human preference alignment via Direct Preference Optimization (DPO). We design a scoring standard that combines human evaluation with 3D metrics to collect preference pairs for DPO, ensuring both visual appeal and geometric accuracy. Conditioned on point clouds and images, DeepMesh generates meshes with intricate details and precise topology, outperforming state-of-the-art methods in both precision and quality. Project page: https://zhaorw02.github.io/DeepMesh/