4K4DGen: Generación panorámica 4D en resolución 4K

4K4DGen: Panoramic 4D Generation at 4K Resolution

June 19, 2024

Autores: Renjie Li, Panwang Pan, Bangbang Yang, Dejia Xu, Shijie Zhou, Xuanyang Zhang, Zeming Li, Achuta Kadambi, Zhangyang Wang, Zhiwen Fan

cs.AI

Resumen

El florecimiento de las tecnologías de realidad virtual y realidad aumentada (VR/AR) ha impulsado una creciente demanda para la creación de entornos inmersivos, dinámicos y de alta calidad. Sin embargo, las técnicas generativas existentes se centran únicamente en objetos dinámicos o realizan extrapolaciones a partir de una única imagen en perspectiva, lo que no satisface las necesidades de las aplicaciones de VR/AR. En este trabajo, abordamos la desafiante tarea de elevar una única panorámica a una experiencia inmersiva en 4D. Por primera vez, demostramos la capacidad de generar escenas dinámicas omnidireccionales con vistas de 360 grados en resolución 4K, proporcionando así una experiencia de usuario inmersiva. Nuestro método introduce una canalización que facilita animaciones naturales de escenas y optimiza un conjunto de Gaussianas 4D utilizando técnicas eficientes de splatting para una exploración en tiempo real. Para superar la falta de datos y modelos anotados en 4D a escala de escena, especialmente en formatos panorámicos, proponemos un nuevo Desenredador Panorámico que adapta conocimientos previos de difusión 2D genéricos para animar de manera consistente en imágenes de 360 grados, transformándolas en videos panorámicos con escenas dinámicas en regiones específicas. Posteriormente, elevamos el video panorámico a un entorno inmersivo en 4D mientras preservamos la consistencia espacial y temporal. Al transferir conocimientos previos de modelos 2D en el dominio de perspectiva al dominio panorámico y realizar la elevación a 4D con regularización de apariencia y geometría espacial, logramos por primera vez una generación de alta calidad de Panorámica-a-4D en una resolución de (4096 x 2048). Visite el sitio web del proyecto en https://4k4dgen.github.io.

English

The blooming of virtual reality and augmented reality (VR/AR) technologies has driven an increasing demand for the creation of high-quality, immersive, and dynamic environments. However, existing generative techniques either focus solely on dynamic objects or perform outpainting from a single perspective image, failing to meet the needs of VR/AR applications. In this work, we tackle the challenging task of elevating a single panorama to an immersive 4D experience. For the first time, we demonstrate the capability to generate omnidirectional dynamic scenes with 360-degree views at 4K resolution, thereby providing an immersive user experience. Our method introduces a pipeline that facilitates natural scene animations and optimizes a set of 4D Gaussians using efficient splatting techniques for real-time exploration. To overcome the lack of scene-scale annotated 4D data and models, especially in panoramic formats, we propose a novel Panoramic Denoiser that adapts generic 2D diffusion priors to animate consistently in 360-degree images, transforming them into panoramic videos with dynamic scenes at targeted regions. Subsequently, we elevate the panoramic video into a 4D immersive environment while preserving spatial and temporal consistency. By transferring prior knowledge from 2D models in the perspective domain to the panoramic domain and the 4D lifting with spatial appearance and geometry regularization, we achieve high-quality Panorama-to-4D generation at a resolution of (4096 times 2048) for the first time. See the project website at https://4k4dgen.github.io.