MVPaint: 3D物体のペイントのための同期されたマルチビュー拡散

MVPaint: Synchronized Multi-View Diffusion for Painting Anything 3D

November 4, 2024

著者: Wei Cheng, Juncheng Mu, Xianfang Zeng, Xin Chen, Anqi Pang, Chi Zhang, Zhibin Wang, Bin Fu, Gang Yu, Ziwei Liu, Liang Pan

cs.AI

要旨

テクスチャリングは、3Dアセットの制作ワークフローにおける重要な段階であり、3Dアセットの視覚的魅力と多様性を向上させます。最近のText-to-Texture（T2T）生成の進歩にもかかわらず、既存の方法はしばしば劣る結果をもたらします。これは主に局所的な不連続性、複数のビュー間の不一致、およびUV展開の結果に大きく依存しているためです。これらの課題に対処するために、私たちはMVPaintと呼ばれる新しい生成-洗練3Dテクスチャリングフレームワークを提案します。これは、高解像度でシームレスなテクスチャを生成し、マルチビューの一貫性を重視しています。MVPaintは主に3つの主要モジュールで構成されています。1）同期マルチビュー生成（SMG）。3Dメッシュモデルが与えられると、MVPaintはまずSMGモデルを用いてマルチビュー画像を同時に生成し、観測の欠落により塗られていない部分を含む粗いテクスチャリング結果を導きます。2）空間認識3D補完（S3I）。完全な3Dテクスチャリングを確保するために、未観測の領域に効果的にテクスチャを施すために、S3I手法を導入しています。3）UVリファインメント（UVR）。さらに、MVPaintは、UV空間でのテクスチャ品質を向上させるためにUVRモジュールを使用しています。これは、まずUV空間の超解像度を実行し、次にUV展開によって引き起こされる空間テクスチャリングの不連続性を修正するために空間認識シームスムージングアルゴリズムを実行します。さらに、Objaverseデータセットから選択された高品質の3Dメッシュに基づくObjaverse T2Tベンチマークと、GSOデータセット全体に基づくGSO T2Tベンチマークの2つのT2T評価ベンチマークを確立しています。幅広い実験結果は、MVPaintが既存の最先端の方法を凌駕していることを示しています。特に、MVPaintは、最小限のジャヌス問題と高度に向上したクロスビューの一貫性を持つ高忠実度のテクスチャを生成できることがわかりました。

English

Texturing is a crucial step in the 3D asset production workflow, which enhances the visual appeal and diversity of 3D assets. Despite recent advancements in Text-to-Texture (T2T) generation, existing methods often yield subpar results, primarily due to local discontinuities, inconsistencies across multiple views, and their heavy dependence on UV unwrapping outcomes. To tackle these challenges, we propose a novel generation-refinement 3D texturing framework called MVPaint, which can generate high-resolution, seamless textures while emphasizing multi-view consistency. MVPaint mainly consists of three key modules. 1) Synchronized Multi-view Generation (SMG). Given a 3D mesh model, MVPaint first simultaneously generates multi-view images by employing an SMG model, which leads to coarse texturing results with unpainted parts due to missing observations. 2) Spatial-aware 3D Inpainting (S3I). To ensure complete 3D texturing, we introduce the S3I method, specifically designed to effectively texture previously unobserved areas. 3) UV Refinement (UVR). Furthermore, MVPaint employs a UVR module to improve the texture quality in the UV space, which first performs a UV-space Super-Resolution, followed by a Spatial-aware Seam-Smoothing algorithm for revising spatial texturing discontinuities caused by UV unwrapping. Moreover, we establish two T2T evaluation benchmarks: the Objaverse T2T benchmark and the GSO T2T benchmark, based on selected high-quality 3D meshes from the Objaverse dataset and the entire GSO dataset, respectively. Extensive experimental results demonstrate that MVPaint surpasses existing state-of-the-art methods. Notably, MVPaint could generate high-fidelity textures with minimal Janus issues and highly enhanced cross-view consistency.