City-on-Web: 大規模シーンのリアルタイムニューラルレンダリングをウェブ上で実現

City-on-Web: Real-time Neural Rendering of Large-scale Scenes on the Web

December 27, 2023

著者: Kaiwen Song, Juyong Zhang

cs.AI

要旨

NeRFは3Dシーン再構成において大きな進歩を遂げ、様々な環境における複雑なディテールの捕捉を可能にしました。既存の手法は、ラディアンスフィールドのベイキングを活用することで、小規模シーンのリアルタイムレンダリングを実現することに成功しています。しかし、大規模シーンに適用する場合、これらの技術は計算リソース、メモリ、帯域幅の制約により、シームレスなリアルタイム体験を提供する上で重大な課題に直面します。本論文では、シーン全体を管理可能なブロックに分割し、各ブロックに独自の詳細レベル（Level-of-Detail）を設定することで、高忠実度、効率的なメモリ管理、高速なレンダリングを実現するCity-on-Webを提案します。同時に、トレーニングと推論プロセスを慎重に設計し、ウェブ上での最終的なレンダリング結果がトレーニングと一致するようにします。我々の新しい表現方法と慎重に設計されたトレーニング/推論プロセスにより、リソースが制約された環境下での大規模シーンのリアルタイムレンダリングを初めて実現しました。広範な実験結果は、我々の手法がウェブプラットフォーム上での大規模シーンのリアルタイムレンダリングを可能にし、RTX 3060 GPUを用いて1080P解像度で32FPSを達成しつつ、最先端の手法に匹敵する品質を同時に実現することを示しています。プロジェクトページ: https://ustc3dv.github.io/City-on-Web/

English

NeRF has significantly advanced 3D scene reconstruction, capturing intricate details across various environments. Existing methods have successfully leveraged radiance field baking to facilitate real-time rendering of small scenes. However, when applied to large-scale scenes, these techniques encounter significant challenges, struggling to provide a seamless real-time experience due to limited resources in computation, memory, and bandwidth. In this paper, we propose City-on-Web, which represents the whole scene by partitioning it into manageable blocks, each with its own Level-of-Detail, ensuring high fidelity, efficient memory management and fast rendering. Meanwhile, we carefully design the training and inference process such that the final rendering result on web is consistent with training. Thanks to our novel representation and carefully designed training/inference process, we are the first to achieve real-time rendering of large-scale scenes in resource-constrained environments. Extensive experimental results demonstrate that our method facilitates real-time rendering of large-scale scenes on a web platform, achieving 32FPS at 1080P resolution with an RTX 3060 GPU, while simultaneously achieving a quality that closely rivals that of state-of-the-art methods. Project page: https://ustc3dv.github.io/City-on-Web/