VideoRF: 動的放射輝度フィールドを2D特徴量ビデオストリームとしてレンダリングする

VideoRF: Rendering Dynamic Radiance Fields as 2D Feature Video Streams

December 3, 2023

著者: Liao Wang, Kaixin Yao, Chengcheng Guo, Zhirui Zhang, Qiang Hu, Jingyi Yu, Lan Xu, Minye Wu

cs.AI

要旨

ニューラルラジアンスフィールド（NeRF）は、静的なシーンのフォトリアルなレンダリングに優れています。しかし、ユビキタスデバイス上での動的で長時間にわたるラジアンスフィールドのレンダリングは、データストレージと計算上の制約により、依然として課題となっています。本論文では、モバイルプラットフォーム上で動的ラジアンスフィールドのリアルタイムストリーミングとレンダリングを可能にする初のアプローチであるVideoRFを紹介します。その核心は、4Dラジアンスフィールドを全て含むシリアライズされた2D特徴画像ストリームです。この2D領域に直接適用するための特化したトレーニングスキームを導入し、特徴画像ストリームの時間的および空間的な冗長性を課します。この冗長性を活用することで、特徴画像ストリームが2Dビデオコーデックによって効率的に圧縮可能であることを示し、ビデオハードウェアアクセラレータを利用してリアルタイムデコードを実現します。一方、特徴画像ストリームに基づいて、VideoRFのための新しいレンダリングパイプラインを提案します。このパイプラインは、ラジアンス特性を効率的にクエリするための特殊な空間マッピングを備えています。ディファードシェーディングモデルと組み合わせることで、VideoRFはその効率性により、モバイルデバイス上でのリアルタイムレンダリングが可能です。私たちは、動的シーンのオンラインストリーミングとレンダリングを可能にするリアルタイムインタラクティブプレーヤーを開発し、デスクトップからスマートフォンまでの幅広いデバイスでシームレスで没入感のある自由視点体験を提供します。

English

Neural Radiance Fields (NeRFs) excel in photorealistically rendering static scenes. However, rendering dynamic, long-duration radiance fields on ubiquitous devices remains challenging, due to data storage and computational constraints. In this paper, we introduce VideoRF, the first approach to enable real-time streaming and rendering of dynamic radiance fields on mobile platforms. At the core is a serialized 2D feature image stream representing the 4D radiance field all in one. We introduce a tailored training scheme directly applied to this 2D domain to impose the temporal and spatial redundancy of the feature image stream. By leveraging the redundancy, we show that the feature image stream can be efficiently compressed by 2D video codecs, which allows us to exploit video hardware accelerators to achieve real-time decoding. On the other hand, based on the feature image stream, we propose a novel rendering pipeline for VideoRF, which has specialized space mappings to query radiance properties efficiently. Paired with a deferred shading model, VideoRF has the capability of real-time rendering on mobile devices thanks to its efficiency. We have developed a real-time interactive player that enables online streaming and rendering of dynamic scenes, offering a seamless and immersive free-viewpoint experience across a range of devices, from desktops to mobile phones.