HoloTime: 파노라마 4D 장면 생성을 위한 비디오 확산 모델 제어

HoloTime: Taming Video Diffusion Models for Panoramic 4D Scene Generation

April 30, 2025

저자: Haiyang Zhou, Wangbo Yu, Jiawen Guan, Xinhua Cheng, Yonghong Tian, Li Yuan

cs.AI

초록

확산 모델의 급속한 발전은 사용자 경험을 위해 일반적으로 장면 수준의 4D 자산이 필요한 VR 및 AR 기술의 혁신적인 적용을 가능케 할 잠재력을 가지고 있다. 그러나 기존의 확산 모델은 주로 정적인 3D 장면이나 객체 수준의 동역학을 모델링하는 데 집중되어 있어, 진정한 몰입형 경험을 제공하는 데 한계가 있다. 이러한 문제를 해결하기 위해, 우리는 HoloTime이라는 프레임워크를 제안한다. 이 프레임워크는 단일 프롬프트 또는 참조 이미지로부터 파노라마 비디오를 생성하는 비디오 확산 모델과 생성된 파노라마 비디오를 4D 자산으로 원활하게 변환하는 360도 4D 장면 재구성 방법을 통합하여 사용자에게 완전히 몰입 가능한 4D 경험을 제공한다. 구체적으로, 고품질 파노라마 비디오 생성을 위해 비디오 확산 모델을 제어하기 위해, 우리는 360World 데이터셋을 소개한다. 이 데이터셋은 하위 4D 장면 재구성 작업에 적합한 최초의 포괄적인 파노라마 비디오 컬렉션이다. 이 선별된 데이터셋을 바탕으로, 우리는 파노라마 이미지를 고품질 파노라마 비디오로 변환할 수 있는 2단계 이미지-투-비디오 확산 모델인 Panoramic Animator를 제안한다. 이어서, 우리는 생성된 파노라마 비디오를 4D 포인트 클라우드로 변환하여 공간적 및 시간적으로 일관된 4D 장면을 재구성하기 위한 전체론적 4D Gaussian Splatting 표현을 최적화할 수 있는 공간-시간 깊이 추정 방법을 활용한 Panoramic Space-Time Reconstruction을 제시한다. 우리의 방법의 효율성을 검증하기 위해, 기존 접근법과의 비교 분석을 수행하였으며, 이는 파노라마 비디오 생성 및 4D 장면 재구성 모두에서 우리의 방법이 우수함을 보여준다. 이를 통해 우리의 방법이 더욱 흥미롭고 현실적인 몰입형 환경을 생성하여 VR 및 AR 애플리케이션에서 사용자 경험을 향상시킬 수 있음을 입증한다.

English

The rapid advancement of diffusion models holds the promise of revolutionizing the application of VR and AR technologies, which typically require scene-level 4D assets for user experience. Nonetheless, existing diffusion models predominantly concentrate on modeling static 3D scenes or object-level dynamics, constraining their capacity to provide truly immersive experiences. To address this issue, we propose HoloTime, a framework that integrates video diffusion models to generate panoramic videos from a single prompt or reference image, along with a 360-degree 4D scene reconstruction method that seamlessly transforms the generated panoramic video into 4D assets, enabling a fully immersive 4D experience for users. Specifically, to tame video diffusion models for generating high-fidelity panoramic videos, we introduce the 360World dataset, the first comprehensive collection of panoramic videos suitable for downstream 4D scene reconstruction tasks. With this curated dataset, we propose Panoramic Animator, a two-stage image-to-video diffusion model that can convert panoramic images into high-quality panoramic videos. Following this, we present Panoramic Space-Time Reconstruction, which leverages a space-time depth estimation method to transform the generated panoramic videos into 4D point clouds, enabling the optimization of a holistic 4D Gaussian Splatting representation to reconstruct spatially and temporally consistent 4D scenes. To validate the efficacy of our method, we conducted a comparative analysis with existing approaches, revealing its superiority in both panoramic video generation and 4D scene reconstruction. This demonstrates our method's capability to create more engaging and realistic immersive environments, thereby enhancing user experiences in VR and AR applications.