DreamScene360: 파노라마 가우시안 스플래팅을 통한 제약 없는 텍스트-3D 장면 생성

DreamScene360: Unconstrained Text-to-3D Scene Generation with Panoramic Gaussian Splatting

April 10, 2024

저자: Shijie Zhou, Zhiwen Fan, Dejia Xu, Haoran Chang, Pradyumna Chari, Tejas Bharadwaj, Suya You, Zhangyang Wang, Achuta Kadambi

cs.AI

초록

가상 현실 애플리케이션에 대한 수요가 증가함에 따라 몰입형 3D 자산 제작의 중요성이 부각되고 있습니다. 본 논문에서는 야외 환경을 위한 포괄적인 360도 장면을 단 몇 분 만에 생성할 수 있는 텍스트-투-3D 360도 장면 생성 파이프라인을 제안합니다. 우리의 접근 방식은 2D 확산 모델의 생성 능력과 프롬프트 자기 정제를 활용하여 고품질이면서 전역적으로 일관된 파노라마 이미지를 생성합니다. 이 이미지는 초기 "평면적" (2D) 장면 표현으로 작용합니다. 이후, 이 이미지는 스플래팅 기법을 사용하여 3D 가우시안으로 변환되어 실시간 탐색이 가능하도록 합니다. 일관된 3D 기하학을 생성하기 위해, 우리의 파이프라인은 2D 단안 깊이를 전역적으로 최적화된 포인트 클라우드에 정렬함으로써 공간적으로 일관된 구조를 구축합니다. 이 포인트 클라우드는 3D 가우시안의 중심점 초기 상태로 사용됩니다. 단일 뷰 입력에서 발생할 수 있는 보이지 않는 영역의 문제를 해결하기 위해, 우리는 합성된 뷰와 입력 카메라 뷰 모두에 의미론적 및 기하학적 제약을 정규화로 적용합니다. 이러한 제약은 가우시안의 최적화를 안내하여 보이지 않는 영역의 재구성을 돕습니다. 요약하면, 우리의 방법은 360도 관점에서 전역적으로 일관된 3D 장면을 제공함으로써 기존 기술보다 향상된 몰입형 경험을 제공합니다. 프로젝트 웹사이트: http://dreamscene360.github.io/

English

The increasing demand for virtual reality applications has highlighted the significance of crafting immersive 3D assets. We present a text-to-3D 360^{circ} scene generation pipeline that facilitates the creation of comprehensive 360^{circ} scenes for in-the-wild environments in a matter of minutes. Our approach utilizes the generative power of a 2D diffusion model and prompt self-refinement to create a high-quality and globally coherent panoramic image. This image acts as a preliminary "flat" (2D) scene representation. Subsequently, it is lifted into 3D Gaussians, employing splatting techniques to enable real-time exploration. To produce consistent 3D geometry, our pipeline constructs a spatially coherent structure by aligning the 2D monocular depth into a globally optimized point cloud. This point cloud serves as the initial state for the centroids of 3D Gaussians. In order to address invisible issues inherent in single-view inputs, we impose semantic and geometric constraints on both synthesized and input camera views as regularizations. These guide the optimization of Gaussians, aiding in the reconstruction of unseen regions. In summary, our method offers a globally consistent 3D scene within a 360^{circ} perspective, providing an enhanced immersive experience over existing techniques. Project website at: http://dreamscene360.github.io/