VideoRF : Rendu de champs de rayonnement dynamiques sous forme de flux vidéo de caractéristiques 2D

VideoRF: Rendering Dynamic Radiance Fields as 2D Feature Video Streams

December 3, 2023

Auteurs: Liao Wang, Kaixin Yao, Chengcheng Guo, Zhirui Zhang, Qiang Hu, Jingyi Yu, Lan Xu, Minye Wu

cs.AI

Résumé

Les champs de radiance neuronaux (NeRFs) excellent dans le rendu photoréaliste de scènes statiques. Cependant, le rendu de champs de radiance dynamiques et de longue durée sur des appareils omniprésents reste un défi, en raison des contraintes de stockage de données et de calcul. Dans cet article, nous présentons VideoRF, la première approche permettant la diffusion et le rendu en temps réel de champs de radiance dynamiques sur des plateformes mobiles. Au cœur de cette approche se trouve un flux d'images de caractéristiques 2D sérialisées représentant le champ de radiance 4D dans son ensemble. Nous introduisons un schéma d'entraînement spécifique directement appliqué à ce domaine 2D pour imposer la redondance temporelle et spatiale du flux d'images de caractéristiques. En exploitant cette redondance, nous montrons que le flux d'images de caractéristiques peut être efficacement compressé par des codecs vidéo 2D, ce qui nous permet d'utiliser des accélérateurs matériels vidéo pour atteindre un décodage en temps réel. D'autre part, basé sur le flux d'images de caractéristiques, nous proposons un nouveau pipeline de rendu pour VideoRF, qui dispose de mappages d'espace spécialisés pour interroger efficacement les propriétés de radiance. Associé à un modèle d'ombrage différé, VideoRF est capable d'un rendu en temps réel sur les appareils mobiles grâce à son efficacité. Nous avons développé un lecteur interactif en temps réel qui permet la diffusion et le rendu en ligne de scènes dynamiques, offrant une expérience fluide et immersive de point de vue libre sur une gamme d'appareils, des ordinateurs de bureau aux téléphones mobiles.

English

Neural Radiance Fields (NeRFs) excel in photorealistically rendering static scenes. However, rendering dynamic, long-duration radiance fields on ubiquitous devices remains challenging, due to data storage and computational constraints. In this paper, we introduce VideoRF, the first approach to enable real-time streaming and rendering of dynamic radiance fields on mobile platforms. At the core is a serialized 2D feature image stream representing the 4D radiance field all in one. We introduce a tailored training scheme directly applied to this 2D domain to impose the temporal and spatial redundancy of the feature image stream. By leveraging the redundancy, we show that the feature image stream can be efficiently compressed by 2D video codecs, which allows us to exploit video hardware accelerators to achieve real-time decoding. On the other hand, based on the feature image stream, we propose a novel rendering pipeline for VideoRF, which has specialized space mappings to query radiance properties efficiently. Paired with a deferred shading model, VideoRF has the capability of real-time rendering on mobile devices thanks to its efficiency. We have developed a real-time interactive player that enables online streaming and rendering of dynamic scenes, offering a seamless and immersive free-viewpoint experience across a range of devices, from desktops to mobile phones.