VideoRF: Dynamische Radiance Fields Renderen als 2D Feature Videostreams

VideoRF: Rendering Dynamic Radiance Fields as 2D Feature Video Streams

December 3, 2023

Auteurs: Liao Wang, Kaixin Yao, Chengcheng Guo, Zhirui Zhang, Qiang Hu, Jingyi Yu, Lan Xu, Minye Wu

cs.AI

Samenvatting

Neural Radiance Fields (NeRFs) blinken uit in het fotorealistisch renderen van statische scènes. Het renderen van dynamische, langdurige radiance fields op alledaagse apparaten blijft echter een uitdaging, vanwege beperkingen in gegevensopslag en rekenkracht. In dit artikel introduceren we VideoRF, de eerste aanpak die real-time streaming en rendering van dynamische radiance fields op mobiele platforms mogelijk maakt. De kern bestaat uit een geserialiseerde 2D feature image stream die het 4D radiance field volledig in één geheel weergeeft. We introduceren een op maat gemaakt trainingsschema dat rechtstreeks op dit 2D-domein wordt toegepast om de temporele en ruimtelijke redundantie van de feature image stream te benadrukken. Door gebruik te maken van deze redundantie tonen we aan dat de feature image stream efficiënt kan worden gecomprimeerd met 2D videocodecs, wat ons in staat stelt om video-hardwareversnellers te benutten voor real-time decodering. Aan de andere kant stellen we, gebaseerd op de feature image stream, een nieuwe renderpijplijn voor VideoRF voor, die gespecialiseerde ruimtelijke mapping gebruikt om radiance-eigenschappen efficiënt op te vragen. In combinatie met een deferred shading model beschikt VideoRF over de mogelijkheid tot real-time rendering op mobiele apparaten dankzij zijn efficiëntie. We hebben een real-time interactieve speler ontwikkeld die online streaming en rendering van dynamische scènes mogelijk maakt, wat een naadloze en meeslepende free-viewpoint ervaring biedt op een reeks apparaten, van desktops tot mobiele telefoons.

English

Neural Radiance Fields (NeRFs) excel in photorealistically rendering static scenes. However, rendering dynamic, long-duration radiance fields on ubiquitous devices remains challenging, due to data storage and computational constraints. In this paper, we introduce VideoRF, the first approach to enable real-time streaming and rendering of dynamic radiance fields on mobile platforms. At the core is a serialized 2D feature image stream representing the 4D radiance field all in one. We introduce a tailored training scheme directly applied to this 2D domain to impose the temporal and spatial redundancy of the feature image stream. By leveraging the redundancy, we show that the feature image stream can be efficiently compressed by 2D video codecs, which allows us to exploit video hardware accelerators to achieve real-time decoding. On the other hand, based on the feature image stream, we propose a novel rendering pipeline for VideoRF, which has specialized space mappings to query radiance properties efficiently. Paired with a deferred shading model, VideoRF has the capability of real-time rendering on mobile devices thanks to its efficiency. We have developed a real-time interactive player that enables online streaming and rendering of dynamic scenes, offering a seamless and immersive free-viewpoint experience across a range of devices, from desktops to mobile phones.