Customize-It-3D: 被写体固有の知識事前分布を用いた単一画像からの高品質3D生成

Customize-It-3D: High-Quality 3D Creation from A Single Image Using Subject-Specific Knowledge Prior

December 15, 2023

著者: Nan Huang, Ting Zhang, Yuhui Yuan, Dong Chen, Shanghang Zhang

cs.AI

要旨

本論文では、参照画像が提供する情報を最大限に活用し、画像から3D生成のためのカスタマイズされた知識事前分布を確立する、新しい2段階アプローチを提案する。従来の手法は主に一般的な拡散事前分布に依存しており、参照画像との一貫した結果を得ることが困難であったが、我々は被写体固有かつマルチモーダルな拡散モデルを提案する。このモデルは、改善された幾何学を得るためにシェーディングモードを考慮することでNeRF最適化を支援するだけでなく、粗い結果からテクスチャを強化し、優れたリファインメントを実現する。これらの両面が、3Dコンテンツを被写体に忠実に整合させることに貢献する。大規模な実験により、我々の手法「Customize-It-3D」が従来の手法を大幅に上回る優位性を示している。本手法は、印象的な視覚品質を備えた忠実な360度再構成を生成し、テキストから3D作成を含む様々なアプリケーションに適している。

English

In this paper, we present a novel two-stage approach that fully utilizes the information provided by the reference image to establish a customized knowledge prior for image-to-3D generation. While previous approaches primarily rely on a general diffusion prior, which struggles to yield consistent results with the reference image, we propose a subject-specific and multi-modal diffusion model. This model not only aids NeRF optimization by considering the shading mode for improved geometry but also enhances texture from the coarse results to achieve superior refinement. Both aspects contribute to faithfully aligning the 3D content with the subject. Extensive experiments showcase the superiority of our method, Customize-It-3D, outperforming previous works by a substantial margin. It produces faithful 360-degree reconstructions with impressive visual quality, making it well-suited for various applications, including text-to-3D creation.