4K4DGen : Génération panoramique 4D en résolution 4K

4K4DGen: Panoramic 4D Generation at 4K Resolution

June 19, 2024

Auteurs: Renjie Li, Panwang Pan, Bangbang Yang, Dejia Xu, Shijie Zhou, Xuanyang Zhang, Zeming Li, Achuta Kadambi, Zhangyang Wang, Zhiwen Fan

cs.AI

Résumé

L'épanouissement des technologies de réalité virtuelle et augmentée (VR/AR) a suscité une demande croissante pour la création d'environnements immersifs, dynamiques et de haute qualité. Cependant, les techniques génératives existantes se concentrent soit uniquement sur les objets dynamiques, soit effectuent un étalement à partir d'une seule image en perspective, ne répondant pas aux besoins des applications VR/AR. Dans ce travail, nous abordons la tâche complexe d'élever une seule image panoramique à une expérience immersive en 4D. Pour la première fois, nous démontrons la capacité à générer des scènes dynamiques omnidirectionnelles avec des vues à 360 degrés en résolution 4K, offrant ainsi une expérience utilisateur immersive. Notre méthode introduit un pipeline qui facilite les animations naturelles de scènes et optimise un ensemble de Gaussiennes 4D en utilisant des techniques de splatting efficaces pour une exploration en temps réel. Pour pallier le manque de données et de modèles annotés 4D à l'échelle de la scène, en particulier dans les formats panoramiques, nous proposons un nouveau Panoramic Denoiser qui adapte des priors de diffusion 2D génériques pour animer de manière cohérente des images à 360 degrés, les transformant en vidéos panoramiques avec des scènes dynamiques dans des régions ciblées. Par la suite, nous élevons la vidéo panoramique à un environnement immersif 4D tout en préservant la cohérence spatiale et temporelle. En transférant les connaissances antérieures des modèles 2D du domaine perspectif au domaine panoramique et en effectuant une élévation 4D avec une régularisation de l'apparence et de la géométrie spatiale, nous atteignons pour la première fois une génération Panorama-to-4D de haute qualité à une résolution de (4096 fois 2048). Consultez le site du projet à l'adresse https://4k4dgen.github.io.

English

The blooming of virtual reality and augmented reality (VR/AR) technologies has driven an increasing demand for the creation of high-quality, immersive, and dynamic environments. However, existing generative techniques either focus solely on dynamic objects or perform outpainting from a single perspective image, failing to meet the needs of VR/AR applications. In this work, we tackle the challenging task of elevating a single panorama to an immersive 4D experience. For the first time, we demonstrate the capability to generate omnidirectional dynamic scenes with 360-degree views at 4K resolution, thereby providing an immersive user experience. Our method introduces a pipeline that facilitates natural scene animations and optimizes a set of 4D Gaussians using efficient splatting techniques for real-time exploration. To overcome the lack of scene-scale annotated 4D data and models, especially in panoramic formats, we propose a novel Panoramic Denoiser that adapts generic 2D diffusion priors to animate consistently in 360-degree images, transforming them into panoramic videos with dynamic scenes at targeted regions. Subsequently, we elevate the panoramic video into a 4D immersive environment while preserving spatial and temporal consistency. By transferring prior knowledge from 2D models in the perspective domain to the panoramic domain and the 4D lifting with spatial appearance and geometry regularization, we achieve high-quality Panorama-to-4D generation at a resolution of (4096 times 2048) for the first time. See the project website at https://4k4dgen.github.io.