4K4DGen: Панорамная генерация 4D с разрешением 4K

4K4DGen: Panoramic 4D Generation at 4K Resolution

June 19, 2024

Авторы: Renjie Li, Panwang Pan, Bangbang Yang, Dejia Xu, Shijie Zhou, Xuanyang Zhang, Zeming Li, Achuta Kadambi, Zhangyang Wang, Zhiwen Fan

cs.AI

Аннотация

Развитие технологий виртуальной и дополненной реальности (VR/AR) привело к росту спроса на создание высококачественных, иммерсивных и динамичных сред. Однако существующие генеративные методы либо сосредотачиваются исключительно на динамических объектах, либо выполняют "вырисовку" из одной перспективы, что не удовлетворяет потребностям приложений VR/AR. В данной работе мы решаем сложную задачу превращения одного панорамного изображения в иммерсивный 4D опыт. Впервые мы демонстрируем возможность генерации омнидирекциональных динамичных сцен с обзором 360 градусов и разрешением 4K, обеспечивая тем самым иммерсивный пользовательский опыт. Наш метод включает в себя конвейер, который облегчает естественную анимацию сцен и оптимизирует набор 4D гауссиан с использованием эффективных техник "splatting" для исследования в реальном времени. Для преодоления отсутствия аннотированных 4D данных и моделей на уровне сцены, особенно в панорамных форматах, мы предлагаем новый Панорамный Денойзер, который приспосабливает общие 2D диффузионные априори для последовательной анимации в 360-градусных изображениях, превращая их в панорамные видео с динамичными сценами в целевых областях. Затем мы преобразуем панорамное видео в 4D иммерсивную среду, сохраняя пространственную и временную согласованность. Перенося знания из 2D моделей в перспективной области в панорамную область и осуществляя 4D преобразование с пространственной аппаратурой и геометрической регуляризацией, мы достигаем генерации высококачественных Панорам-в-4D изображений с разрешением (4096 на 2048) впервые. Посетите веб-сайт проекта по ссылке https://4k4dgen.github.io.

English

The blooming of virtual reality and augmented reality (VR/AR) technologies has driven an increasing demand for the creation of high-quality, immersive, and dynamic environments. However, existing generative techniques either focus solely on dynamic objects or perform outpainting from a single perspective image, failing to meet the needs of VR/AR applications. In this work, we tackle the challenging task of elevating a single panorama to an immersive 4D experience. For the first time, we demonstrate the capability to generate omnidirectional dynamic scenes with 360-degree views at 4K resolution, thereby providing an immersive user experience. Our method introduces a pipeline that facilitates natural scene animations and optimizes a set of 4D Gaussians using efficient splatting techniques for real-time exploration. To overcome the lack of scene-scale annotated 4D data and models, especially in panoramic formats, we propose a novel Panoramic Denoiser that adapts generic 2D diffusion priors to animate consistently in 360-degree images, transforming them into panoramic videos with dynamic scenes at targeted regions. Subsequently, we elevate the panoramic video into a 4D immersive environment while preserving spatial and temporal consistency. By transferring prior knowledge from 2D models in the perspective domain to the panoramic domain and the 4D lifting with spatial appearance and geometry regularization, we achieve high-quality Panorama-to-4D generation at a resolution of (4096 times 2048) for the first time. See the project website at https://4k4dgen.github.io.