VideoRF: Representación de Campos de Radiancia Dinámicos como Flujos de Video de Características 2D

VideoRF: Rendering Dynamic Radiance Fields as 2D Feature Video Streams

December 3, 2023

Autores: Liao Wang, Kaixin Yao, Chengcheng Guo, Zhirui Zhang, Qiang Hu, Jingyi Yu, Lan Xu, Minye Wu

cs.AI

Resumen

Los Campos de Radiancia Neural (NeRFs) sobresalen en la representación fotorrealista de escenas estáticas. Sin embargo, renderizar campos de radiancia dinámicos y de larga duración en dispositivos ubicuos sigue siendo un desafío, debido a las limitaciones de almacenamiento de datos y capacidad computacional. En este artículo, presentamos VideoRF, el primer enfoque que permite la transmisión y renderizado en tiempo real de campos de radiancia dinámicos en plataformas móviles. En su núcleo se encuentra un flujo de imágenes de características 2D serializadas que representan el campo de radiancia 4D en su totalidad. Introducimos un esquema de entrenamiento personalizado aplicado directamente a este dominio 2D para imponer la redundancia temporal y espacial del flujo de imágenes de características. Al aprovechar esta redundancia, demostramos que el flujo de imágenes de características puede comprimirse eficientemente mediante códecs de video 2D, lo que nos permite utilizar aceleradores de hardware de video para lograr una decodificación en tiempo real. Por otro lado, basándonos en el flujo de imágenes de características, proponemos una nueva canalización de renderizado para VideoRF, que cuenta con mapeos espaciales especializados para consultar las propiedades de radiancia de manera eficiente. Combinado con un modelo de sombreado diferido, VideoRF tiene la capacidad de renderizado en tiempo real en dispositivos móviles gracias a su eficiencia. Hemos desarrollado un reproductor interactivo en tiempo real que permite la transmisión y renderizado en línea de escenas dinámicas, ofreciendo una experiencia inmersiva y fluida de visualización libre en una variedad de dispositivos, desde computadoras de escritorio hasta teléfonos móviles.

English

Neural Radiance Fields (NeRFs) excel in photorealistically rendering static scenes. However, rendering dynamic, long-duration radiance fields on ubiquitous devices remains challenging, due to data storage and computational constraints. In this paper, we introduce VideoRF, the first approach to enable real-time streaming and rendering of dynamic radiance fields on mobile platforms. At the core is a serialized 2D feature image stream representing the 4D radiance field all in one. We introduce a tailored training scheme directly applied to this 2D domain to impose the temporal and spatial redundancy of the feature image stream. By leveraging the redundancy, we show that the feature image stream can be efficiently compressed by 2D video codecs, which allows us to exploit video hardware accelerators to achieve real-time decoding. On the other hand, based on the feature image stream, we propose a novel rendering pipeline for VideoRF, which has specialized space mappings to query radiance properties efficiently. Paired with a deferred shading model, VideoRF has the capability of real-time rendering on mobile devices thanks to its efficiency. We have developed a real-time interactive player that enables online streaming and rendering of dynamic scenes, offering a seamless and immersive free-viewpoint experience across a range of devices, from desktops to mobile phones.