DreamSpace: 텍스트 기반 파노라믹 텍스처 전파를 통한 방 공간 꿈꾸기
DreamSpace: Dreaming Your Room Space with Text-Driven Panoramic Texture Propagation
October 19, 2023
저자: Bangbang Yang, Wenqi Dong, Lin Ma, Wenbo Hu, Xiao Liu, Zhaopeng Cui, Yuewen Ma
cs.AI
초록
디퓨전 기반 방법들은 2D 미디어 생성에서 두드러진 성공을 거두었습니다. 그러나 XR/VR과 같은 3D 공간 응용 프로그램에서 장면 수준의 메쉬 텍스처링에 대해 유사한 수준의 성능을 달성하는 것은 여전히 제한적입니다. 이는 주로 3D 기하학의 복잡성과 몰입형 자유 시점 렌더링의 필요성 때문입니다. 본 논문에서는 매혹적인 디테일과 진정한 공간적 일관성을 갖춘 텍스트 기반 텍스처 생성을 제공하는 새로운 실내 장면 텍스처링 프레임워크를 제안합니다. 핵심 통찰은 장면의 중심 시점에서 스타일화된 360도 파노라마 텍스처를 먼저 상상한 다음, 이를 인페인팅과 모방 기술을 통해 나머지 영역으로 전파하는 것입니다. 장면에 의미 있고 정렬된 텍스처를 보장하기 위해, 캡처된 장면의 기하학적 및 텍스처 단서를 모두 고려하는 이중 텍스처 정렬을 갖춘 새로운 코스-투-파인 파노라마 텍스처 생성 접근 방식을 개발했습니다. 텍스처 전파 중 복잡한 기하학적 구조에서 벗어나기 위해, 신뢰할 수 있는 영역에서 텍스처 인페인팅을 수행한 다음, 가려지고 작은 구조적 영역에서 텍스처를 합성하기 위한 암묵적 모방 네트워크를 학습하는 분리된 전략을 설계했습니다. 실제 실내 장면에 대한 광범위한 실험과 몰입형 VR 응용 프로그램은 생성된 텍스처의 높은 품질과 VR 헤드셋에서의 매력적인 경험을 입증합니다. 프로젝트 웹페이지: https://ybbbbt.com/publication/dreamspace
English
Diffusion-based methods have achieved prominent success in generating 2D
media. However, accomplishing similar proficiencies for scene-level mesh
texturing in 3D spatial applications, e.g., XR/VR, remains constrained,
primarily due to the intricate nature of 3D geometry and the necessity for
immersive free-viewpoint rendering. In this paper, we propose a novel indoor
scene texturing framework, which delivers text-driven texture generation with
enchanting details and authentic spatial coherence. The key insight is to first
imagine a stylized 360{\deg} panoramic texture from the central viewpoint of
the scene, and then propagate it to the rest areas with inpainting and
imitating techniques. To ensure meaningful and aligned textures to the scene,
we develop a novel coarse-to-fine panoramic texture generation approach with
dual texture alignment, which both considers the geometry and texture cues of
the captured scenes. To survive from cluttered geometries during texture
propagation, we design a separated strategy, which conducts texture inpainting
in confidential regions and then learns an implicit imitating network to
synthesize textures in occluded and tiny structural areas. Extensive
experiments and the immersive VR application on real-world indoor scenes
demonstrate the high quality of the generated textures and the engaging
experience on VR headsets. Project webpage:
https://ybbbbt.com/publication/dreamspace