Magic-Boost: マルチビュー条件付き拡散による3D生成のブースト

Magic-Boost: Boost 3D Generation with Mutli-View Conditioned Diffusion

April 9, 2024

著者: Fan Yang, Jianfeng Zhang, Yichun Shi, Bowen Chen, Chenxu Zhang, Huichao Zhang, Xiaofeng Yang, Jiashi Feng, Guosheng Lin

cs.AI

要旨

2D拡散モデルの急速な発展に支えられ、3Dコンテンツ生成は最近大きな進歩を遂げています。有望な解決策の一つは、事前学習済みの2D拡散モデルを微調整し、その多視点画像生成能力を活用することです。生成された多視点画像は、fast-NeRFや大規模再構成モデルなどの手法を用いて正確な3Dモデルに変換されます。しかし、一貫性の欠如や生成解像度の制限により、このような手法の生成結果はまだ複雑なテクスチャや幾何学的構造を欠いています。この問題を解決するため、我々はMagic-Boostを提案します。これは、多視点条件付き拡散モデルであり、短時間のSDS最適化（約15分）を通じて粗い生成結果を大幅に改善します。従来のテキストや単一画像ベースの拡散モデルと比較して、Magic-Boostは疑似合成された多視点画像から高い一貫性を持つ画像を生成する強力な能力を示します。入力画像のアイデンティティにうまく整合する正確なSDSガイダンスを提供し、初期生成結果の幾何学的構造とテクスチャの局所的な詳細を豊かにします。大規模な実験により、Magic-Boostが粗い入力を大幅に向上させ、豊かな幾何学的およびテクスチャの詳細を持つ高品質な3Dアセットを生成することが示されています。（プロジェクトページ: https://magic-research.github.io/magic-boost/）

English

Benefiting from the rapid development of 2D diffusion models, 3D content creation has made significant progress recently. One promising solution involves the fine-tuning of pre-trained 2D diffusion models to harness their capacity for producing multi-view images, which are then lifted into accurate 3D models via methods like fast-NeRFs or large reconstruction models. However, as inconsistency still exists and limited generated resolution, the generation results of such methods still lack intricate textures and complex geometries. To solve this problem, we propose Magic-Boost, a multi-view conditioned diffusion model that significantly refines coarse generative results through a brief period of SDS optimization (sim15min). Compared to the previous text or single image based diffusion models, Magic-Boost exhibits a robust capability to generate images with high consistency from pseudo synthesized multi-view images. It provides precise SDS guidance that well aligns with the identity of the input images, enriching the local detail in both geometry and texture of the initial generative results. Extensive experiments show Magic-Boost greatly enhances the coarse inputs and generates high-quality 3D assets with rich geometric and textural details. (Project Page: https://magic-research.github.io/magic-boost/)