City-on-Web: Real-time Neurale Weergave van Grootschalige Scènes op het Web

City-on-Web: Real-time Neural Rendering of Large-scale Scenes on the Web

December 27, 2023

Auteurs: Kaiwen Song, Juyong Zhang

cs.AI

Samenvatting

NeRF heeft de 3D-scène-reconstructie aanzienlijk vooruitgebracht, waarbij ingewikkelde details in diverse omgevingen worden vastgelegd. Bestaande methoden hebben met succes gebruik gemaakt van radiance field baking om real-time rendering van kleine scènes mogelijk te maken. Wanneer deze technieken echter worden toegepast op grootschalige scènes, ontstaan er aanzienlijke uitdagingen, waarbij ze moeite hebben om een naadloze real-time ervaring te bieden vanwege beperkte middelen in rekenkracht, geheugen en bandbreedte. In dit artikel stellen we City-on-Web voor, waarbij de hele scène wordt weergegeven door deze op te delen in beheersbare blokken, elk met een eigen Level-of-Detail, wat zorgt voor hoge kwaliteit, efficiënt geheugenbeheer en snelle rendering. Tegelijkertijd hebben we het trainings- en inferentieproces zorgvuldig ontworpen, zodat het uiteindelijke renderresultaat op het web consistent is met de training. Dankzij onze nieuwe representatie en het zorgvuldig ontworpen trainings-/inferentieproces zijn wij de eersten die real-time rendering van grootschalige scènes in omgevingen met beperkte middelen hebben gerealiseerd. Uitgebreide experimentele resultaten tonen aan dat onze methode real-time rendering van grootschalige scènes op een webplatform mogelijk maakt, met een snelheid van 32 FPS bij 1080P-resolutie op een RTX 3060 GPU, terwijl tegelijkertijd een kwaliteit wordt bereikt die dicht in de buurt komt van state-of-the-art methoden. Projectpagina: https://ustc3dv.github.io/City-on-Web/

English

NeRF has significantly advanced 3D scene reconstruction, capturing intricate details across various environments. Existing methods have successfully leveraged radiance field baking to facilitate real-time rendering of small scenes. However, when applied to large-scale scenes, these techniques encounter significant challenges, struggling to provide a seamless real-time experience due to limited resources in computation, memory, and bandwidth. In this paper, we propose City-on-Web, which represents the whole scene by partitioning it into manageable blocks, each with its own Level-of-Detail, ensuring high fidelity, efficient memory management and fast rendering. Meanwhile, we carefully design the training and inference process such that the final rendering result on web is consistent with training. Thanks to our novel representation and carefully designed training/inference process, we are the first to achieve real-time rendering of large-scale scenes in resource-constrained environments. Extensive experimental results demonstrate that our method facilitates real-time rendering of large-scale scenes on a web platform, achieving 32FPS at 1080P resolution with an RTX 3060 GPU, while simultaneously achieving a quality that closely rivals that of state-of-the-art methods. Project page: https://ustc3dv.github.io/City-on-Web/