City-on-Web : Rendu neuronal en temps réel de scènes à grande échelle sur le Web

City-on-Web: Real-time Neural Rendering of Large-scale Scenes on the Web

December 27, 2023

Auteurs: Kaiwen Song, Juyong Zhang

cs.AI

Résumé

NeRF a considérablement fait progresser la reconstruction de scènes 3D, capturant des détails complexes dans divers environnements. Les méthodes existantes ont réussi à exploiter la cuisson des champs de radiance pour faciliter le rendu en temps réel de petites scènes. Cependant, lorsqu'elles sont appliquées à des scènes à grande échelle, ces techniques rencontrent des défis majeurs, peinant à offrir une expérience fluide en temps réel en raison de ressources limitées en calcul, mémoire et bande passante. Dans cet article, nous proposons City-on-Web, qui représente l'ensemble de la scène en la partitionnant en blocs gérables, chacun avec son propre niveau de détail, garantissant une haute fidélité, une gestion efficace de la mémoire et un rendu rapide. Parallèlement, nous concevons soigneusement le processus d'entraînement et d'inférence pour que le résultat final du rendu sur le web soit cohérent avec l'entraînement. Grâce à notre nouvelle représentation et à notre processus d'entraînement/inférence minutieusement conçu, nous sommes les premiers à réaliser le rendu en temps réel de scènes à grande échelle dans des environnements à ressources limitées. Les résultats expérimentaux approfondis démontrent que notre méthode facilite le rendu en temps réel de scènes à grande échelle sur une plateforme web, atteignant 32 FPS à une résolution de 1080P avec une carte graphique RTX 3060, tout en atteignant une qualité proche des méthodes de pointe. Page du projet : https://ustc3dv.github.io/City-on-Web/

English

NeRF has significantly advanced 3D scene reconstruction, capturing intricate details across various environments. Existing methods have successfully leveraged radiance field baking to facilitate real-time rendering of small scenes. However, when applied to large-scale scenes, these techniques encounter significant challenges, struggling to provide a seamless real-time experience due to limited resources in computation, memory, and bandwidth. In this paper, we propose City-on-Web, which represents the whole scene by partitioning it into manageable blocks, each with its own Level-of-Detail, ensuring high fidelity, efficient memory management and fast rendering. Meanwhile, we carefully design the training and inference process such that the final rendering result on web is consistent with training. Thanks to our novel representation and carefully designed training/inference process, we are the first to achieve real-time rendering of large-scale scenes in resource-constrained environments. Extensive experimental results demonstrate that our method facilitates real-time rendering of large-scale scenes on a web platform, achieving 32FPS at 1080P resolution with an RTX 3060 GPU, while simultaneously achieving a quality that closely rivals that of state-of-the-art methods. Project page: https://ustc3dv.github.io/City-on-Web/