VideoRF: Визуализация динамических полей излучения в виде потоков 2D-видео с признаками

VideoRF: Rendering Dynamic Radiance Fields as 2D Feature Video Streams

December 3, 2023

Авторы: Liao Wang, Kaixin Yao, Chengcheng Guo, Zhirui Zhang, Qiang Hu, Jingyi Yu, Lan Xu, Minye Wu

cs.AI

Аннотация

Нейронные поля излучения (NeRF) превосходно справляются с фотореалистичным рендерингом статичных сцен. Однако рендеринг динамических полей излучения длительной продолжительности на повсеместно используемых устройствах остается сложной задачей из-за ограничений по хранению данных и вычислительным ресурсам. В данной статье мы представляем VideoRF — первый подход, позволяющий осуществлять потоковую передачу и рендеринг динамических полей излучения в реальном времени на мобильных платформах. В основе лежит сериализованный поток 2D-изображений признаков, представляющий 4D-поле излучения в едином формате. Мы предлагаем специализированную схему обучения, применяемую непосредственно в этой 2D-области, чтобы учесть временную и пространственную избыточность потока изображений признаков. Используя эту избыточность, мы показываем, что поток изображений признаков может быть эффективно сжат с помощью 2D-видеокодеков, что позволяет задействовать аппаратные ускорители видео для достижения декодирования в реальном времени. С другой стороны, на основе потока изображений признаков мы предлагаем новый конвейер рендеринга для VideoRF, который использует специализированные пространственные отображения для эффективного запроса свойств излучения. В сочетании с моделью отложенного затенения VideoRF способен выполнять рендеринг в реальном времени на мобильных устройствах благодаря своей эффективности. Мы разработали интерактивный плеер, работающий в реальном времени, который позволяет осуществлять потоковую передачу и рендеринг динамических сцен, обеспечивая плавный и захватывающий опыт свободного обзора на различных устройствах — от настольных компьютеров до мобильных телефонов.

English

Neural Radiance Fields (NeRFs) excel in photorealistically rendering static scenes. However, rendering dynamic, long-duration radiance fields on ubiquitous devices remains challenging, due to data storage and computational constraints. In this paper, we introduce VideoRF, the first approach to enable real-time streaming and rendering of dynamic radiance fields on mobile platforms. At the core is a serialized 2D feature image stream representing the 4D radiance field all in one. We introduce a tailored training scheme directly applied to this 2D domain to impose the temporal and spatial redundancy of the feature image stream. By leveraging the redundancy, we show that the feature image stream can be efficiently compressed by 2D video codecs, which allows us to exploit video hardware accelerators to achieve real-time decoding. On the other hand, based on the feature image stream, we propose a novel rendering pipeline for VideoRF, which has specialized space mappings to query radiance properties efficiently. Paired with a deferred shading model, VideoRF has the capability of real-time rendering on mobile devices thanks to its efficiency. We have developed a real-time interactive player that enables online streaming and rendering of dynamic scenes, offering a seamless and immersive free-viewpoint experience across a range of devices, from desktops to mobile phones.