VideoRF: Renderização de Campos de Radiança Dinâmicos como Fluxos de Vídeo de Características 2D

VideoRF: Rendering Dynamic Radiance Fields as 2D Feature Video Streams

December 3, 2023

Autores: Liao Wang, Kaixin Yao, Chengcheng Guo, Zhirui Zhang, Qiang Hu, Jingyi Yu, Lan Xu, Minye Wu

cs.AI

Resumo

Os Campos de Radiação Neural (NeRFs) se destacam na renderização fotorrealista de cenas estáticas. No entanto, renderizar campos de radiação dinâmicos e de longa duração em dispositivos ubíquos continua sendo um desafio, devido às limitações de armazenamento de dados e computação. Neste artigo, apresentamos o VideoRF, a primeira abordagem que permite a transmissão e renderização em tempo real de campos de radiação dinâmicos em plataformas móveis. No núcleo está um fluxo serializado de imagens de características 2D que representa o campo de radiação 4D em um único formato. Introduzimos um esquema de treinamento personalizado aplicado diretamente a este domínio 2D para impor a redundância temporal e espacial do fluxo de imagens de características. Ao aproveitar essa redundância, mostramos que o fluxo de imagens de características pode ser eficientemente comprimido por codecs de vídeo 2D, o que nos permite explorar aceleradores de hardware de vídeo para alcançar decodificação em tempo real. Por outro lado, com base no fluxo de imagens de características, propomos um novo pipeline de renderização para o VideoRF, que possui mapeamentos de espaço especializados para consultar as propriedades de radiação de forma eficiente. Combinado com um modelo de sombreamento adiado, o VideoRF tem a capacidade de renderização em tempo real em dispositivos móveis graças à sua eficiência. Desenvolvemos um player interativo em tempo real que permite a transmissão e renderização online de cenas dinâmicas, oferecendo uma experiência de visualização livre imersiva e contínua em uma variedade de dispositivos, desde desktops até smartphones.

English

Neural Radiance Fields (NeRFs) excel in photorealistically rendering static scenes. However, rendering dynamic, long-duration radiance fields on ubiquitous devices remains challenging, due to data storage and computational constraints. In this paper, we introduce VideoRF, the first approach to enable real-time streaming and rendering of dynamic radiance fields on mobile platforms. At the core is a serialized 2D feature image stream representing the 4D radiance field all in one. We introduce a tailored training scheme directly applied to this 2D domain to impose the temporal and spatial redundancy of the feature image stream. By leveraging the redundancy, we show that the feature image stream can be efficiently compressed by 2D video codecs, which allows us to exploit video hardware accelerators to achieve real-time decoding. On the other hand, based on the feature image stream, we propose a novel rendering pipeline for VideoRF, which has specialized space mappings to query radiance properties efficiently. Paired with a deferred shading model, VideoRF has the capability of real-time rendering on mobile devices thanks to its efficiency. We have developed a real-time interactive player that enables online streaming and rendering of dynamic scenes, offering a seamless and immersive free-viewpoint experience across a range of devices, from desktops to mobile phones.