Cycle3D: 生成-再構成サイクルによる高品質で一貫性のある画像から3Dへの生成

Cycle3D: High-quality and Consistent Image-to-3D Generation via Generation-Reconstruction Cycle

July 28, 2024

著者: Zhenyu Tang, Junwu Zhang, Xinhua Cheng, Wangbo Yu, Chaoran Feng, Yatian Pang, Bin Lin, Li Yuan

cs.AI

要旨

近年の3D大規模再構成モデルは、通常2段階のプロセスを採用しています。まず、マルチビューディフュージョンモデルによってマルチビュー画像を生成し、その後フィードフォワードモデルを用いて画像を3Dコンテンツに再構成します。しかし、マルチビューディフュージョンモデルはしばしば低品質で一貫性のない画像を生成し、最終的な3D再構成の品質に悪影響を及ぼします。この問題を解決するため、我々はCycle3Dと呼ばれる統一された3D生成フレームワークを提案します。これは、マルチステップのディフュージョンプロセス中に2Dディフュージョンベースの生成モジュールとフィードフォワード3D再構成モジュールを循環的に利用するものです。具体的には、2Dディフュージョンモデルは高品質なテクスチャ生成に適用され、再構成モデルはマルチビュー一貫性を保証します。さらに、2Dディフュージョンモデルは生成されるコンテンツをさらに制御し、未見のビューに対して参照ビュー情報を注入することができ、これによりノイズ除去プロセス中の3D生成の多様性とテクスチャ一貫性が向上します。大規模な実験により、我々の手法が最先端のベースラインと比較して、高品質かつ一貫性のある3Dコンテンツを作成する優れた能力を有していることが実証されました。

English

Recent 3D large reconstruction models typically employ a two-stage process, including first generate multi-view images by a multi-view diffusion model, and then utilize a feed-forward model to reconstruct images to 3D content.However, multi-view diffusion models often produce low-quality and inconsistent images, adversely affecting the quality of the final 3D reconstruction. To address this issue, we propose a unified 3D generation framework called Cycle3D, which cyclically utilizes a 2D diffusion-based generation module and a feed-forward 3D reconstruction module during the multi-step diffusion process. Concretely, 2D diffusion model is applied for generating high-quality texture, and the reconstruction model guarantees multi-view consistency.Moreover, 2D diffusion model can further control the generated content and inject reference-view information for unseen views, thereby enhancing the diversity and texture consistency of 3D generation during the denoising process. Extensive experiments demonstrate the superior ability of our method to create 3D content with high-quality and consistency compared with state-of-the-art baselines.