Sketch2NeRF: マルチビュースケッチ誘導型テキストから3D生成

要旨

近年、テキストから3Dを生成するアプローチは、テキスト記述を用いた高精細な3Dコンテンツ生成を実現してきた。しかし、生成されるオブジェクトは確率的であり、細かな制御が欠けている。スケッチは、そのような細かな制御を導入するための簡便な方法を提供する。それにもかかわらず、スケッチの抽象性と曖昧さのため、これらのスケッチから柔軟な制御を実現することは困難である。本論文では、3D生成にスケッチ制御を追加するためのマルチビュースケッチ誘導型テキストから3D生成フレームワーク（Sketch2NeRFと称する）を提案する。具体的には、我々の手法は、事前学習済みの2D拡散モデル（例えば、Stable DiffusionやControlNet）を活用して、ニューラルラジアンスフィールド（NeRF）で表現される3Dシーンの最適化を監督する。NeRFを効果的に最適化するために、新たな同期生成と再構成手法を提案する。実験では、提案手法を評価するために2種類のマルチビュースケッチデータセットを収集した。我々の手法が、テキストプロンプトに忠実でありながら、細かなスケッチ制御を伴った3D整合性のあるコンテンツを合成できることを実証する。広範な結果は、我々の手法がスケッチの類似性とテキストの整合性の点で最先端の性能を達成することを示している。

English

Recently, text-to-3D approaches have achieved high-fidelity 3D content generation using text description. However, the generated objects are stochastic and lack fine-grained control. Sketches provide a cheap approach to introduce such fine-grained control. Nevertheless, it is challenging to achieve flexible control from these sketches due to their abstraction and ambiguity. In this paper, we present a multi-view sketch-guided text-to-3D generation framework (namely, Sketch2NeRF) to add sketch control to 3D generation. Specifically, our method leverages pretrained 2D diffusion models (e.g., Stable Diffusion and ControlNet) to supervise the optimization of a 3D scene represented by a neural radiance field (NeRF). We propose a novel synchronized generation and reconstruction method to effectively optimize the NeRF. In the experiments, we collected two kinds of multi-view sketch datasets to evaluate the proposed method. We demonstrate that our method can synthesize 3D consistent contents with fine-grained sketch control while being high-fidelity to text prompts. Extensive results show that our method achieves state-of-the-art performance in terms of sketch similarity and text alignment.

Sketch2NeRF: マルチビュースケッチ誘導型テキストから3D生成

Sketch2NeRF: Multi-view Sketch-guided Text-to-3D Generation

要旨

Support