4K4DGen: Generazione Panoramica 4D a Risoluzione 4K

4K4DGen: Panoramic 4D Generation at 4K Resolution

June 19, 2024

Autori: Renjie Li, Panwang Pan, Bangbang Yang, Dejia Xu, Shijie Zhou, Xuanyang Zhang, Zeming Li, Achuta Kadambi, Zhangyang Wang, Zhiwen Fan

cs.AI

Abstract

La fioritura delle tecnologie di realtà virtuale e realtà aumentata (VR/AR) ha stimolato una crescente domanda per la creazione di ambienti di alta qualità, immersivi e dinamici. Tuttavia, le tecniche generative esistenti si concentrano esclusivamente su oggetti dinamici o eseguono l'outpainting da una singola immagine prospettica, non riuscendo a soddisfare le esigenze delle applicazioni VR/AR. In questo lavoro, affrontiamo il compito impegnativo di elevare una singola panoramica a un'esperienza immersiva 4D. Per la prima volta, dimostriamo la capacità di generare scene dinamiche omnidirezionali con viste a 360 gradi in risoluzione 4K, offrendo così un'esperienza utente immersiva. Il nostro metodo introduce una pipeline che facilita le animazioni naturali delle scene e ottimizza un insieme di Gaussiane 4D utilizzando tecniche efficienti di splatting per l'esplorazione in tempo reale. Per superare la mancanza di dati e modelli 4D annotati su scala di scena, specialmente in formato panoramico, proponiamo un innovativo Panoramic Denoiser che adatta i prior di diffusione 2D generici per animare in modo coerente immagini a 360 gradi, trasformandole in video panoramici con scene dinamiche nelle regioni target. Successivamente, eleviamo il video panoramico in un ambiente immersivo 4D preservando la coerenza spaziale e temporale. Trasferendo la conoscenza a priori dai modelli 2D nel dominio prospettico al dominio panoramico e al sollevamento 4D con regolarizzazione dell'aspetto spaziale e della geometria, otteniamo per la prima volta una generazione Panorama-to-4D di alta qualità a una risoluzione di (4096 × 2048). Visita il sito del progetto all'indirizzo https://4k4dgen.github.io.

English

The blooming of virtual reality and augmented reality (VR/AR) technologies has driven an increasing demand for the creation of high-quality, immersive, and dynamic environments. However, existing generative techniques either focus solely on dynamic objects or perform outpainting from a single perspective image, failing to meet the needs of VR/AR applications. In this work, we tackle the challenging task of elevating a single panorama to an immersive 4D experience. For the first time, we demonstrate the capability to generate omnidirectional dynamic scenes with 360-degree views at 4K resolution, thereby providing an immersive user experience. Our method introduces a pipeline that facilitates natural scene animations and optimizes a set of 4D Gaussians using efficient splatting techniques for real-time exploration. To overcome the lack of scene-scale annotated 4D data and models, especially in panoramic formats, we propose a novel Panoramic Denoiser that adapts generic 2D diffusion priors to animate consistently in 360-degree images, transforming them into panoramic videos with dynamic scenes at targeted regions. Subsequently, we elevate the panoramic video into a 4D immersive environment while preserving spatial and temporal consistency. By transferring prior knowledge from 2D models in the perspective domain to the panoramic domain and the 4D lifting with spatial appearance and geometry regularization, we achieve high-quality Panorama-to-4D generation at a resolution of (4096 times 2048) for the first time. See the project website at https://4k4dgen.github.io.