4K4DGen: Panoramische 4D-generatie met 4K-resolutie

4K4DGen: Panoramic 4D Generation at 4K Resolution

June 19, 2024

Auteurs: Renjie Li, Panwang Pan, Bangbang Yang, Dejia Xu, Shijie Zhou, Xuanyang Zhang, Zeming Li, Achuta Kadambi, Zhangyang Wang, Zhiwen Fan

cs.AI

Samenvatting

De opkomst van virtual reality en augmented reality (VR/AR)-technologieën heeft geleid tot een groeiende vraag naar het creëren van hoogwaardige, meeslepende en dynamische omgevingen. Bestaande generatieve technieken richten zich echter ofwel uitsluitend op dynamische objecten of voeren outpaintings uit vanuit een enkel perspectiefbeeld, waardoor ze niet voldoen aan de behoeften van VR/AR-toepassingen. In dit werk pakken we de uitdagende taak aan om een enkele panorama te verheffen tot een meeslepende 4D-ervaring. Voor het eerst demonstreren we de mogelijkheid om omnidirectionele dynamische scènes te genereren met 360-graden weergave in 4K-resolutie, waardoor een meeslepende gebruikerservaring wordt geboden. Onze methode introduceert een pijplijn die natuurlijke scène-animaties vergemakkelijkt en een set van 4D Gaussians optimaliseert met efficiënte splatting-technieken voor real-time exploratie. Om het gebrek aan geannoteerde 4D-gegevens en modellen op scèneschaal, vooral in panoramische formaten, te overwinnen, stellen we een nieuwe Panoramic Denoiser voor die generieke 2D diffusie-priors aanpast om consistent te animeren in 360-graden beelden, waardoor ze worden omgezet in panoramische video's met dynamische scènes in doelgebieden. Vervolgens verheffen we de panoramische video naar een 4D meeslepende omgeving terwijl ruimtelijke en temporele consistentie behouden blijft. Door voorkennis over te dragen van 2D-modellen in het perspectiefdomein naar het panoramische domein en de 4D-verheffing met ruimtelijke uiterlijk- en geometrie-regularisatie, bereiken we voor het eerst hoogwaardige Panorama-naar-4D-generatie met een resolutie van (4096 keer 2048). Zie de projectwebsite op https://4k4dgen.github.io.

English

The blooming of virtual reality and augmented reality (VR/AR) technologies has driven an increasing demand for the creation of high-quality, immersive, and dynamic environments. However, existing generative techniques either focus solely on dynamic objects or perform outpainting from a single perspective image, failing to meet the needs of VR/AR applications. In this work, we tackle the challenging task of elevating a single panorama to an immersive 4D experience. For the first time, we demonstrate the capability to generate omnidirectional dynamic scenes with 360-degree views at 4K resolution, thereby providing an immersive user experience. Our method introduces a pipeline that facilitates natural scene animations and optimizes a set of 4D Gaussians using efficient splatting techniques for real-time exploration. To overcome the lack of scene-scale annotated 4D data and models, especially in panoramic formats, we propose a novel Panoramic Denoiser that adapts generic 2D diffusion priors to animate consistently in 360-degree images, transforming them into panoramic videos with dynamic scenes at targeted regions. Subsequently, we elevate the panoramic video into a 4D immersive environment while preserving spatial and temporal consistency. By transferring prior knowledge from 2D models in the perspective domain to the panoramic domain and the 4D lifting with spatial appearance and geometry regularization, we achieve high-quality Panorama-to-4D generation at a resolution of (4096 times 2048) for the first time. See the project website at https://4k4dgen.github.io.