Magic123: 2Dおよび3D拡散事前分布を活用した単一画像からの高品質3Dオブジェクト生成

要旨

Magic123を紹介します。これは、2Dと3Dの事前知識を活用して、野生環境で撮影された単一の未ポーズ画像から高品質なテクスチャ付き3Dメッシュを生成するための、粗から細へと進む2段階アプローチです。第1段階では、ニューラルラジアンスフィールドを最適化して粗い形状を生成します。第2段階では、メモリ効率の良い微分可能なメッシュ表現を採用し、視覚的に魅力的なテクスチャを持つ高解像度メッシュを生成します。両段階において、3Dコンテンツは参照ビューの教師信号と、2Dおよび3D拡散事前知識を組み合わせた新規ビューのガイダンスを通じて学習されます。生成される形状の探索（より想像力豊か）と活用（より精密）を制御するために、2Dと3Dの事前知識の間の単一のトレードオフパラメータを導入します。さらに、テキスト反転と単眼深度正則化を採用し、ビュー間で一貫した外観を促進し、縮退解を防止します。Magic123は、合成ベンチマークと多様な実世界画像を用いた広範な実験を通じて、従来の画像から3Dへの技術と比較して大幅な改善を示しています。私たちのコード、モデル、および生成された3Dアセットはhttps://github.com/guochengqian/Magic123で公開されています。

English

We present Magic123, a two-stage coarse-to-fine approach for high-quality, textured 3D meshes generation from a single unposed image in the wild using both2D and 3D priors. In the first stage, we optimize a neural radiance field to produce a coarse geometry. In the second stage, we adopt a memory-efficient differentiable mesh representation to yield a high-resolution mesh with a visually appealing texture. In both stages, the 3D content is learned through reference view supervision and novel views guided by a combination of 2D and 3D diffusion priors. We introduce a single trade-off parameter between the 2D and 3D priors to control exploration (more imaginative) and exploitation (more precise) of the generated geometry. Additionally, we employ textual inversion and monocular depth regularization to encourage consistent appearances across views and to prevent degenerate solutions, respectively. Magic123 demonstrates a significant improvement over previous image-to-3D techniques, as validated through extensive experiments on synthetic benchmarks and diverse real-world images. Our code, models, and generated 3D assets are available at https://github.com/guochengqian/Magic123.

Magic123: 2Dおよび3D拡散事前分布を活用した単一画像からの高品質3Dオブジェクト生成

Magic123: One Image to High-Quality 3D Object Generation Using Both 2D and 3D Diffusion Priors

要旨

Support