VideoRF: Dynamische Radiance Fields als 2D-Feature-Videostreams rendern

VideoRF: Rendering Dynamic Radiance Fields as 2D Feature Video Streams

December 3, 2023

Autoren: Liao Wang, Kaixin Yao, Chengcheng Guo, Zhirui Zhang, Qiang Hu, Jingyi Yu, Lan Xu, Minye Wu

cs.AI

Zusammenfassung

Neural Radiance Fields (NeRFs) zeichnen sich durch die fotorealistische Darstellung statischer Szenen aus. Die Wiedergabe dynamischer, lang andauernder Radiance Fields auf allgegenwärtigen Geräten bleibt jedoch aufgrund von Datenspeicherung und Rechenbeschränkungen eine Herausforderung. In diesem Artikel stellen wir VideoRF vor, den ersten Ansatz, der das Echtzeit-Streaming und Rendering dynamischer Radiance Fields auf mobilen Plattformen ermöglicht. Im Kern steht ein serialisierter 2D-Feature-Bildstrom, der das 4D-Radiance Field in einem darstellt. Wir führen ein speziell angepasstes Trainingsschema ein, das direkt auf diesen 2D-Bereich angewendet wird, um die zeitliche und räumliche Redundanz des Feature-Bildstroms zu gewährleisten. Durch die Nutzung dieser Redundanz zeigen wir, dass der Feature-Bildstrom effizient mit 2D-Videocodecs komprimiert werden kann, was es uns ermöglicht, Video-Hardwarebeschleuniger zu nutzen, um eine Echtzeit-Dekodierung zu erreichen. Andererseits schlagen wir basierend auf dem Feature-Bildstrom eine neuartige Rendering-Pipeline für VideoRF vor, die spezialisierte Raumabbildungen verwendet, um Radiance-Eigenschaften effizient abzufragen. In Kombination mit einem Deferred-Shading-Modell ermöglicht VideoRF dank seiner Effizienz das Echtzeit-Rendering auf mobilen Geräten. Wir haben einen Echtzeit-Interaktiven-Player entwickelt, der das Online-Streaming und Rendering dynamischer Szenen ermöglicht und ein nahtloses und immersives Free-Viewpoint-Erlebnis über eine Reihe von Geräten hinweg bietet, von Desktops bis hin zu Mobiltelefonen.

English

Neural Radiance Fields (NeRFs) excel in photorealistically rendering static scenes. However, rendering dynamic, long-duration radiance fields on ubiquitous devices remains challenging, due to data storage and computational constraints. In this paper, we introduce VideoRF, the first approach to enable real-time streaming and rendering of dynamic radiance fields on mobile platforms. At the core is a serialized 2D feature image stream representing the 4D radiance field all in one. We introduce a tailored training scheme directly applied to this 2D domain to impose the temporal and spatial redundancy of the feature image stream. By leveraging the redundancy, we show that the feature image stream can be efficiently compressed by 2D video codecs, which allows us to exploit video hardware accelerators to achieve real-time decoding. On the other hand, based on the feature image stream, we propose a novel rendering pipeline for VideoRF, which has specialized space mappings to query radiance properties efficiently. Paired with a deferred shading model, VideoRF has the capability of real-time rendering on mobile devices thanks to its efficiency. We have developed a real-time interactive player that enables online streaming and rendering of dynamic scenes, offering a seamless and immersive free-viewpoint experience across a range of devices, from desktops to mobile phones.