Sketch2NeRF: 다중 뷰 스케치 기반 텍스트-3D 생성

초록

최근, 텍스트-3D 접근법은 텍스트 설명을 사용하여 고해상도 3D 콘텐츠 생성을 달성했습니다. 그러나 생성된 객체는 확률적이며 세밀한 제어가 부족합니다. 스케치는 이러한 세밀한 제어를 도입하는 경제적인 방법을 제공합니다. 그럼에도 불구하고, 스케치의 추상성과 모호성으로 인해 유연한 제어를 달성하는 것은 어려운 과제입니다. 본 논문에서는 스케치 제어를 3D 생성에 추가하기 위한 다중 뷰 스케치 기반 텍스트-3D 생성 프레임워크(즉, Sketch2NeRF)를 제안합니다. 구체적으로, 우리의 방법은 사전 훈련된 2D 확산 모델(예: Stable Diffusion 및 ControlNet)을 활용하여 신경 방사 필드(NeRF)로 표현된 3D 장면의 최적화를 감독합니다. 우리는 NeRF를 효과적으로 최적화하기 위해 새로운 동기화 생성 및 재구성 방법을 제안합니다. 실험에서는 제안된 방법을 평가하기 위해 두 종류의 다중 뷰 스케치 데이터셋을 수집했습니다. 우리의 방법이 텍스트 프롬프트에 대한 고해상도를 유지하면서 세밀한 스케치 제어로 3D 일관성 있는 콘텐츠를 합성할 수 있음을 입증합니다. 광범위한 결과는 우리의 방법이 스케치 유사성과 텍스트 정렬 측면에서 최첨단 성능을 달성함을 보여줍니다.

English

Recently, text-to-3D approaches have achieved high-fidelity 3D content generation using text description. However, the generated objects are stochastic and lack fine-grained control. Sketches provide a cheap approach to introduce such fine-grained control. Nevertheless, it is challenging to achieve flexible control from these sketches due to their abstraction and ambiguity. In this paper, we present a multi-view sketch-guided text-to-3D generation framework (namely, Sketch2NeRF) to add sketch control to 3D generation. Specifically, our method leverages pretrained 2D diffusion models (e.g., Stable Diffusion and ControlNet) to supervise the optimization of a 3D scene represented by a neural radiance field (NeRF). We propose a novel synchronized generation and reconstruction method to effectively optimize the NeRF. In the experiments, we collected two kinds of multi-view sketch datasets to evaluate the proposed method. We demonstrate that our method can synthesize 3D consistent contents with fine-grained sketch control while being high-fidelity to text prompts. Extensive results show that our method achieves state-of-the-art performance in terms of sketch similarity and text alignment.

Sketch2NeRF: 다중 뷰 스케치 기반 텍스트-3D 생성

Sketch2NeRF: Multi-view Sketch-guided Text-to-3D Generation

초록

Support