HoloTime : Maîtriser les modèles de diffusion vidéo pour la génération de scènes panoramiques 4D

HoloTime: Taming Video Diffusion Models for Panoramic 4D Scene Generation

April 30, 2025

Auteurs: Haiyang Zhou, Wangbo Yu, Jiawen Guan, Xinhua Cheng, Yonghong Tian, Li Yuan

cs.AI

Résumé

L'avancée rapide des modèles de diffusion promet de révolutionner l'application des technologies de réalité virtuelle (VR) et de réalité augmentée (AR), qui nécessitent généralement des ressources 4D au niveau de la scène pour l'expérience utilisateur. Néanmoins, les modèles de diffusion existants se concentrent principalement sur la modélisation de scènes 3D statiques ou de dynamiques au niveau des objets, limitant ainsi leur capacité à offrir des expériences véritablement immersives. Pour résoudre ce problème, nous proposons HoloTime, un cadre qui intègre des modèles de diffusion vidéo pour générer des vidéos panoramiques à partir d'une seule invite ou image de référence, ainsi qu'une méthode de reconstruction 4D à 360 degrés qui transforme de manière fluide la vidéo panoramique générée en ressources 4D, permettant une expérience 4D entièrement immersive pour les utilisateurs. Plus précisément, pour maîtriser les modèles de diffusion vidéo afin de générer des vidéos panoramiques haute fidélité, nous introduisons le jeu de données 360World, la première collection exhaustive de vidéos panoramiques adaptées aux tâches de reconstruction 4D de scènes. Avec ce jeu de données soigneusement sélectionné, nous proposons Panoramic Animator, un modèle de diffusion image-à-vidéo en deux étapes capable de convertir des images panoramiques en vidéos panoramiques de haute qualité. Ensuite, nous présentons Panoramic Space-Time Reconstruction, qui exploite une méthode d'estimation de profondeur spatio-temporelle pour transformer les vidéos panoramiques générées en nuages de points 4D, permettant l'optimisation d'une représentation holistique 4D par splatting gaussien pour reconstruire des scènes 4D spatialement et temporellement cohérentes. Pour valider l'efficacité de notre méthode, nous avons mené une analyse comparative avec les approches existantes, révélant sa supériorité à la fois dans la génération de vidéos panoramiques et dans la reconstruction de scènes 4D. Cela démontre la capacité de notre méthode à créer des environnements immersifs plus engageants et réalistes, améliorant ainsi les expériences utilisateur dans les applications de VR et AR.

English

The rapid advancement of diffusion models holds the promise of revolutionizing the application of VR and AR technologies, which typically require scene-level 4D assets for user experience. Nonetheless, existing diffusion models predominantly concentrate on modeling static 3D scenes or object-level dynamics, constraining their capacity to provide truly immersive experiences. To address this issue, we propose HoloTime, a framework that integrates video diffusion models to generate panoramic videos from a single prompt or reference image, along with a 360-degree 4D scene reconstruction method that seamlessly transforms the generated panoramic video into 4D assets, enabling a fully immersive 4D experience for users. Specifically, to tame video diffusion models for generating high-fidelity panoramic videos, we introduce the 360World dataset, the first comprehensive collection of panoramic videos suitable for downstream 4D scene reconstruction tasks. With this curated dataset, we propose Panoramic Animator, a two-stage image-to-video diffusion model that can convert panoramic images into high-quality panoramic videos. Following this, we present Panoramic Space-Time Reconstruction, which leverages a space-time depth estimation method to transform the generated panoramic videos into 4D point clouds, enabling the optimization of a holistic 4D Gaussian Splatting representation to reconstruct spatially and temporally consistent 4D scenes. To validate the efficacy of our method, we conducted a comparative analysis with existing approaches, revealing its superiority in both panoramic video generation and 4D scene reconstruction. This demonstrates our method's capability to create more engaging and realistic immersive environments, thereby enhancing user experiences in VR and AR applications.