VideoRF: Rendering di Campi di Radianza Dinamici come Flussi Video di Feature 2D

VideoRF: Rendering Dynamic Radiance Fields as 2D Feature Video Streams

December 3, 2023

Autori: Liao Wang, Kaixin Yao, Chengcheng Guo, Zhirui Zhang, Qiang Hu, Jingyi Yu, Lan Xu, Minye Wu

cs.AI

Abstract

I Neural Radiance Fields (NeRFs) eccellono nel rendering fotorealistico di scene statiche. Tuttavia, il rendering di campi di radianza dinamici e di lunga durata su dispositivi ubiqui rimane una sfida, a causa dei vincoli di archiviazione dei dati e di calcolo. In questo articolo, introduciamo VideoRF, il primo approccio che consente lo streaming e il rendering in tempo reale di campi di radianza dinamici su piattaforme mobili. Al centro di questo approccio c'è un flusso serializzato di immagini di feature 2D che rappresenta il campo di radianza 4D in un'unica soluzione. Introduciamo uno schema di training specifico applicato direttamente a questo dominio 2D per imporre la ridondanza temporale e spaziale del flusso di immagini di feature. Sfruttando questa ridondanza, dimostriamo che il flusso di immagini di feature può essere compresso in modo efficiente utilizzando codec video 2D, il che ci permette di sfruttare gli acceleratori hardware video per ottenere una decodifica in tempo reale. D'altra parte, basandoci sul flusso di immagini di feature, proponiamo una nuova pipeline di rendering per VideoRF, che utilizza mappature spaziali specializzate per interrogare in modo efficiente le proprietà di radianza. Abbinato a un modello di shading differito, VideoRF è in grado di eseguire il rendering in tempo reale su dispositivi mobili grazie alla sua efficienza. Abbiamo sviluppato un lettore interattivo in tempo reale che consente lo streaming e il rendering online di scene dinamiche, offrendo un'esperienza fluida e immersiva di visualizzazione libera su una gamma di dispositivi, dai desktop ai telefoni cellulari.

English

Neural Radiance Fields (NeRFs) excel in photorealistically rendering static scenes. However, rendering dynamic, long-duration radiance fields on ubiquitous devices remains challenging, due to data storage and computational constraints. In this paper, we introduce VideoRF, the first approach to enable real-time streaming and rendering of dynamic radiance fields on mobile platforms. At the core is a serialized 2D feature image stream representing the 4D radiance field all in one. We introduce a tailored training scheme directly applied to this 2D domain to impose the temporal and spatial redundancy of the feature image stream. By leveraging the redundancy, we show that the feature image stream can be efficiently compressed by 2D video codecs, which allows us to exploit video hardware accelerators to achieve real-time decoding. On the other hand, based on the feature image stream, we propose a novel rendering pipeline for VideoRF, which has specialized space mappings to query radiance properties efficiently. Paired with a deferred shading model, VideoRF has the capability of real-time rendering on mobile devices thanks to its efficiency. We have developed a real-time interactive player that enables online streaming and rendering of dynamic scenes, offering a seamless and immersive free-viewpoint experience across a range of devices, from desktops to mobile phones.