4K4DGen: Panoramische 4D-Generierung in 4K-Auflösung

4K4DGen: Panoramic 4D Generation at 4K Resolution

June 19, 2024

Autoren: Renjie Li, Panwang Pan, Bangbang Yang, Dejia Xu, Shijie Zhou, Xuanyang Zhang, Zeming Li, Achuta Kadambi, Zhangyang Wang, Zhiwen Fan

cs.AI

Zusammenfassung

Die Blüte der Virtual-Reality- und Augmented-Reality- (VR/AR) Technologien hat zu einer steigenden Nachfrage nach der Erstellung hochwertiger, immersiver und dynamischer Umgebungen geführt. Allerdings konzentrieren sich bestehende generative Techniken entweder ausschließlich auf dynamische Objekte oder führen Outpainting von einem einzigen Perspektivenbild durch, was den Anforderungen von VR/AR-Anwendungen nicht gerecht wird. In dieser Arbeit nehmen wir uns der anspruchsvollen Aufgabe an, ein einzelnes Panorama zu einem immersiven 4D-Erlebnis zu erheben. Zum ersten Mal zeigen wir die Fähigkeit, omnidirektionale dynamische Szenen mit 360-Grad-Ansichten in 4K-Auflösung zu generieren und somit ein immersives Benutzererlebnis zu bieten. Unsere Methode führt eine Pipeline ein, die natürliche Szenenanimationen ermöglicht und eine Reihe von 4D-Gaußschen mithilfe effizienter Splatting-Techniken für die Echtzeit-Erkundung optimiert. Um den Mangel an Szenen-skalierter annotierter 4D-Daten und -Modelle zu überwinden, insbesondere in Panoramaformaten, schlagen wir einen neuartigen Panorama-Denoiser vor, der generische 2D-Diffusionsprioritäten anpasst, um konsistent in 360-Grad-Bildern zu animieren und sie in Panoramavideos mit dynamischen Szenen in gezielten Regionen zu verwandeln. Anschließend erheben wir das Panoramavideo in eine 4D-immersive Umgebung, wobei räumliche und zeitliche Konsistenz erhalten bleibt. Durch die Übertragung von Vorwissen aus 2D-Modellen im Perspektivenbereich in den Panoramabereich und das 4D-Anheben mit räumlicher Erscheinung und geometrischer Regularisierung erreichen wir erstmals eine hochwertige Panorama-zu-4D-Generierung mit einer Auflösung von (4096 mal 2048). Besuchen Sie die Projektwebsite unter https://4k4dgen.github.io.

English

The blooming of virtual reality and augmented reality (VR/AR) technologies has driven an increasing demand for the creation of high-quality, immersive, and dynamic environments. However, existing generative techniques either focus solely on dynamic objects or perform outpainting from a single perspective image, failing to meet the needs of VR/AR applications. In this work, we tackle the challenging task of elevating a single panorama to an immersive 4D experience. For the first time, we demonstrate the capability to generate omnidirectional dynamic scenes with 360-degree views at 4K resolution, thereby providing an immersive user experience. Our method introduces a pipeline that facilitates natural scene animations and optimizes a set of 4D Gaussians using efficient splatting techniques for real-time exploration. To overcome the lack of scene-scale annotated 4D data and models, especially in panoramic formats, we propose a novel Panoramic Denoiser that adapts generic 2D diffusion priors to animate consistently in 360-degree images, transforming them into panoramic videos with dynamic scenes at targeted regions. Subsequently, we elevate the panoramic video into a 4D immersive environment while preserving spatial and temporal consistency. By transferring prior knowledge from 2D models in the perspective domain to the panoramic domain and the 4D lifting with spatial appearance and geometry regularization, we achieve high-quality Panorama-to-4D generation at a resolution of (4096 times 2048) for the first time. See the project website at https://4k4dgen.github.io.