DeepMesh: Авторегрессивное создание артист-мешей с использованием обучения с подкреплением

DeepMesh: Auto-Regressive Artist-mesh Creation with Reinforcement Learning

March 19, 2025

Авторы: Ruowen Zhao, Junliang Ye, Zhengyi Wang, Guangce Liu, Yiwen Chen, Yikai Wang, Jun Zhu

cs.AI

Аннотация

Треугольные сетки играют ключевую роль в 3D-приложениях для эффективного манипулирования и визуализации. Хотя авторегрессивные методы генерируют структурированные сетки, предсказывая дискретные токены вершин, они часто ограничены небольшим количеством граней и неполнотой сеток. Для решения этих проблем мы предлагаем DeepMesh — фреймворк, который оптимизирует генерацию сеток за счет двух ключевых инноваций: (1) эффективной стратегии предварительного обучения, включающей новый алгоритм токенизации, а также улучшений в обработке и подготовке данных, и (2) внедрения обучения с подкреплением (RL) в генерацию 3D-сеток для достижения соответствия человеческим предпочтениям с помощью оптимизации прямых предпочтений (DPO). Мы разработали стандарт оценки, сочетающий человеческую экспертизу с 3D-метриками, для сбора пар предпочтений для DPO, что обеспечивает как визуальную привлекательность, так и геометрическую точность. На основе облаков точек и изображений DeepMesh генерирует сетки с детализированной структурой и точной топологией, превосходя современные методы как по точности, так и по качеству. Страница проекта: https://zhaorw02.github.io/DeepMesh/

English

Triangle meshes play a crucial role in 3D applications for efficient manipulation and rendering. While auto-regressive methods generate structured meshes by predicting discrete vertex tokens, they are often constrained by limited face counts and mesh incompleteness. To address these challenges, we propose DeepMesh, a framework that optimizes mesh generation through two key innovations: (1) an efficient pre-training strategy incorporating a novel tokenization algorithm, along with improvements in data curation and processing, and (2) the introduction of Reinforcement Learning (RL) into 3D mesh generation to achieve human preference alignment via Direct Preference Optimization (DPO). We design a scoring standard that combines human evaluation with 3D metrics to collect preference pairs for DPO, ensuring both visual appeal and geometric accuracy. Conditioned on point clouds and images, DeepMesh generates meshes with intricate details and precise topology, outperforming state-of-the-art methods in both precision and quality. Project page: https://zhaorw02.github.io/DeepMesh/