City-on-Web: Echtzeit-Neurales Rendering großflächiger Szenen im Web

City-on-Web: Real-time Neural Rendering of Large-scale Scenes on the Web

December 27, 2023

Autoren: Kaiwen Song, Juyong Zhang

cs.AI

Zusammenfassung

NeRF hat die 3D-Szenenrekonstruktion erheblich vorangetrieben und ermöglicht die Erfassung komplexer Details in verschiedenen Umgebungen. Bestehende Methoden haben erfolgreich das Backen von Radiance Fields genutzt, um das Echtzeit-Rendering kleiner Szenen zu ermöglichen. Bei der Anwendung auf großflächige Szenen stoßen diese Techniken jedoch auf erhebliche Herausforderungen und können aufgrund begrenzter Ressourcen in Bezug auf Rechenleistung, Speicher und Bandbreite kein nahtloses Echtzeiterlebnis bieten. In diesem Artikel stellen wir City-on-Web vor, das die gesamte Szene durch die Aufteilung in handhabbare Blöcke darstellt, wobei jeder Block über seine eigene Detailstufe verfügt, um hohe Detailtreue, effiziente Speicherverwaltung und schnelles Rendering zu gewährleisten. Gleichzeitig gestalten wir den Trainings- und Inferenzprozess sorgfältig, sodass das endgültige Rendering-Ergebnis im Web mit dem Training übereinstimmt. Dank unserer neuartigen Darstellung und des sorgfältig gestalteten Trainings-/Inferenzprozesses sind wir die ersten, die ein Echtzeit-Rendering großflächiger Szenen in ressourcenbeschränkten Umgebungen erreichen. Umfangreiche experimentelle Ergebnisse zeigen, dass unsere Methode das Echtzeit-Rendering großflächiger Szenen auf einer Webplattform ermöglicht und dabei 32 FPS bei einer Auflösung von 1080P mit einer RTX 3060 GPU erreicht, während gleichzeitig eine Qualität erzielt wird, die der von state-of-the-art Methoden nahekommt. Projektseite: https://ustc3dv.github.io/City-on-Web/

English

NeRF has significantly advanced 3D scene reconstruction, capturing intricate details across various environments. Existing methods have successfully leveraged radiance field baking to facilitate real-time rendering of small scenes. However, when applied to large-scale scenes, these techniques encounter significant challenges, struggling to provide a seamless real-time experience due to limited resources in computation, memory, and bandwidth. In this paper, we propose City-on-Web, which represents the whole scene by partitioning it into manageable blocks, each with its own Level-of-Detail, ensuring high fidelity, efficient memory management and fast rendering. Meanwhile, we carefully design the training and inference process such that the final rendering result on web is consistent with training. Thanks to our novel representation and carefully designed training/inference process, we are the first to achieve real-time rendering of large-scale scenes in resource-constrained environments. Extensive experimental results demonstrate that our method facilitates real-time rendering of large-scale scenes on a web platform, achieving 32FPS at 1080P resolution with an RTX 3060 GPU, while simultaneously achieving a quality that closely rivals that of state-of-the-art methods. Project page: https://ustc3dv.github.io/City-on-Web/