4K4DGen: 4K 해상도의 파노라믹 4D 생성

4K4DGen: Panoramic 4D Generation at 4K Resolution

June 19, 2024

저자: Renjie Li, Panwang Pan, Bangbang Yang, Dejia Xu, Shijie Zhou, Xuanyang Zhang, Zeming Li, Achuta Kadambi, Zhangyang Wang, Zhiwen Fan

cs.AI

초록

가상 현실(VR)과 증강 현실(AR) 기술의 급속한 발전은 고품질의 몰입적이고 동적인 환경 생성에 대한 수요를 증가시키고 있습니다. 그러나 기존의 생성 기술은 동적 객체에만 초점을 맞추거나 단일 시점 이미지에서 아웃페인팅을 수행하는 데 그쳐 VR/AR 애플리케이션의 요구를 충족시키지 못하고 있습니다. 본 연구에서는 단일 파노라마를 몰입형 4D 경험으로 고도화하는 도전적인 과제를 해결합니다. 우리는 처음으로 4K 해상도의 360도 뷰를 갖춘 전방위 동적 장면을 생성하여 몰입적인 사용자 경험을 제공할 수 있는 능력을 입증합니다. 우리의 방법은 자연스러운 장면 애니메이션을 가능하게 하는 파이프라인을 도입하고, 실시간 탐색을 위해 효율적인 스플래팅 기법을 사용하여 4D 가우시안 세트를 최적화합니다. 특히 파노라마 형식의 장면 규모 주석 4D 데이터와 모델의 부족을 극복하기 위해, 우리는 일반적인 2D 확산 사전 지식을 360도 이미지에서 일관되게 애니메이션화하는 새로운 파노라마 디노이저를 제안합니다. 이를 통해 특정 영역에서 동적 장면을 가진 파노라마 비디오로 변환합니다. 이후, 우리는 공간적 및 시간적 일관성을 유지하면서 파노라마 비디오를 4D 몰입형 환경으로 고도화합니다. 2D 모델의 사전 지식을 시점 도메인에서 파노라마 도메인으로 전이하고, 공간적 외관 및 기하학적 정규화를 통해 4D 리프팅을 수행함으로써, 우리는 (4096 x 2048) 해상도의 고품질 파노라마-투-4D 생성을 처음으로 달성합니다. 프로젝트 웹사이트는 https://4k4dgen.github.io에서 확인할 수 있습니다.

English

The blooming of virtual reality and augmented reality (VR/AR) technologies has driven an increasing demand for the creation of high-quality, immersive, and dynamic environments. However, existing generative techniques either focus solely on dynamic objects or perform outpainting from a single perspective image, failing to meet the needs of VR/AR applications. In this work, we tackle the challenging task of elevating a single panorama to an immersive 4D experience. For the first time, we demonstrate the capability to generate omnidirectional dynamic scenes with 360-degree views at 4K resolution, thereby providing an immersive user experience. Our method introduces a pipeline that facilitates natural scene animations and optimizes a set of 4D Gaussians using efficient splatting techniques for real-time exploration. To overcome the lack of scene-scale annotated 4D data and models, especially in panoramic formats, we propose a novel Panoramic Denoiser that adapts generic 2D diffusion priors to animate consistently in 360-degree images, transforming them into panoramic videos with dynamic scenes at targeted regions. Subsequently, we elevate the panoramic video into a 4D immersive environment while preserving spatial and temporal consistency. By transferring prior knowledge from 2D models in the perspective domain to the panoramic domain and the 4D lifting with spatial appearance and geometry regularization, we achieve high-quality Panorama-to-4D generation at a resolution of (4096 times 2048) for the first time. See the project website at https://4k4dgen.github.io.