DeepMesh: 強化学習を用いた自己回帰的なアーティストメッシュ生成

要旨

三角形メッシュは、効率的な操作とレンダリングのための3Dアプリケーションにおいて重要な役割を果たします。自己回帰手法は離散的な頂点トークンを予測することで構造化されたメッシュを生成しますが、面数の制限やメッシュの不完全性に制約されることが多いです。これらの課題に対処するため、我々はDeepMeshを提案します。このフレームワークは、以下の2つの主要な革新を通じてメッシュ生成を最適化します：(1) 新しいトークン化アルゴリズムを組み込んだ効率的な事前学習戦略と、データのキュレーションおよび処理の改善、(2) 3Dメッシュ生成に強化学習（RL）を導入し、Direct Preference Optimization（DPO）を通じて人間の好みに合わせることを実現します。我々は、人間の評価と3Dメトリクスを組み合わせたスコアリング基準を設計し、DPOのための選好ペアを収集することで、視覚的な魅力と幾何学的な正確さの両方を確保します。点群と画像を条件として、DeepMeshは複雑な詳細と正確なトポロジーを持つメッシュを生成し、精度と品質の両方において最先端の手法を上回ります。プロジェクトページ: https://zhaorw02.github.io/DeepMesh/

English

Triangle meshes play a crucial role in 3D applications for efficient manipulation and rendering. While auto-regressive methods generate structured meshes by predicting discrete vertex tokens, they are often constrained by limited face counts and mesh incompleteness. To address these challenges, we propose DeepMesh, a framework that optimizes mesh generation through two key innovations: (1) an efficient pre-training strategy incorporating a novel tokenization algorithm, along with improvements in data curation and processing, and (2) the introduction of Reinforcement Learning (RL) into 3D mesh generation to achieve human preference alignment via Direct Preference Optimization (DPO). We design a scoring standard that combines human evaluation with 3D metrics to collect preference pairs for DPO, ensuring both visual appeal and geometric accuracy. Conditioned on point clouds and images, DeepMesh generates meshes with intricate details and precise topology, outperforming state-of-the-art methods in both precision and quality. Project page: https://zhaorw02.github.io/DeepMesh/

DeepMesh: 強化学習を用いた自己回帰的なアーティストメッシュ生成

DeepMesh: Auto-Regressive Artist-mesh Creation with Reinforcement Learning

要旨

Support