City-on-Web: Rendering Neurale in Tempo Reale di Scene su Grande Scala sul Web

City-on-Web: Real-time Neural Rendering of Large-scale Scenes on the Web

December 27, 2023

Autori: Kaiwen Song, Juyong Zhang

cs.AI

Abstract

NeRF ha compiuto progressi significativi nella ricostruzione di scene 3D, catturando dettagli intricati in vari ambienti. I metodi esistenti hanno sfruttato con successo la "radiance field baking" per facilitare il rendering in tempo reale di scene di piccole dimensioni. Tuttavia, quando applicati a scene su larga scala, queste tecniche incontrano sfide significative, lottando per fornire un'esperienza in tempo reale senza interruzioni a causa delle risorse limitate in termini di calcolo, memoria e larghezza di banda. In questo articolo, proponiamo City-on-Web, che rappresenta l'intera scena suddividendola in blocchi gestibili, ciascuno con il proprio livello di dettaglio (Level-of-Detail), garantendo alta fedeltà, gestione efficiente della memoria e rendering veloce. Nel frattempo, progettiamo attentamente il processo di addestramento e inferenza in modo che il risultato finale del rendering sul web sia coerente con l'addestramento. Grazie alla nostra rappresentazione innovativa e al processo di addestramento/inferenza attentamente progettato, siamo i primi a ottenere il rendering in tempo reale di scene su larga scala in ambienti con risorse limitate. I risultati sperimentali estesi dimostrano che il nostro metodo facilita il rendering in tempo reale di scene su larga scala su una piattaforma web, raggiungendo 32 FPS a una risoluzione di 1080P con una GPU RTX 3060, ottenendo contemporaneamente una qualità che rivaleggia da vicino con quella dei metodi all'avanguardia. Pagina del progetto: https://ustc3dv.github.io/City-on-Web/

English

NeRF has significantly advanced 3D scene reconstruction, capturing intricate details across various environments. Existing methods have successfully leveraged radiance field baking to facilitate real-time rendering of small scenes. However, when applied to large-scale scenes, these techniques encounter significant challenges, struggling to provide a seamless real-time experience due to limited resources in computation, memory, and bandwidth. In this paper, we propose City-on-Web, which represents the whole scene by partitioning it into manageable blocks, each with its own Level-of-Detail, ensuring high fidelity, efficient memory management and fast rendering. Meanwhile, we carefully design the training and inference process such that the final rendering result on web is consistent with training. Thanks to our novel representation and carefully designed training/inference process, we are the first to achieve real-time rendering of large-scale scenes in resource-constrained environments. Extensive experimental results demonstrate that our method facilitates real-time rendering of large-scale scenes on a web platform, achieving 32FPS at 1080P resolution with an RTX 3060 GPU, while simultaneously achieving a quality that closely rivals that of state-of-the-art methods. Project page: https://ustc3dv.github.io/City-on-Web/