City-on-Web: Renderizado Neural en Tiempo Real de Escenas a Gran Escala en la Web

City-on-Web: Real-time Neural Rendering of Large-scale Scenes on the Web

December 27, 2023

Autores: Kaiwen Song, Juyong Zhang

cs.AI

Resumen

NeRF ha avanzado significativamente en la reconstrucción de escenas 3D, capturando detalles intrincados en diversos entornos. Los métodos existentes han aprovechado con éxito el "baking" de campos de radiancia para facilitar la renderización en tiempo real de escenas pequeñas. Sin embargo, cuando se aplican a escenas de gran escala, estas técnicas enfrentan desafíos importantes, luchando por ofrecer una experiencia en tiempo real sin interrupciones debido a los recursos limitados en cómputo, memoria y ancho de banda. En este artículo, proponemos City-on-Web, que representa toda la escena dividiéndola en bloques manejables, cada uno con su propio nivel de detalle (Level-of-Detail), garantizando alta fidelidad, gestión eficiente de la memoria y renderización rápida. Además, diseñamos cuidadosamente el proceso de entrenamiento e inferencia para que el resultado final de la renderización en la web sea consistente con el entrenamiento. Gracias a nuestra representación novedosa y al proceso de entrenamiento/inferencia cuidadosamente diseñado, somos los primeros en lograr la renderización en tiempo real de escenas de gran escala en entornos con recursos limitados. Los resultados experimentales extensivos demuestran que nuestro método facilita la renderización en tiempo real de escenas de gran escala en una plataforma web, alcanzando 32 FPS a una resolución de 1080P con una GPU RTX 3060, mientras que simultáneamente logra una calidad que rivaliza estrechamente con la de los métodos más avanzados. Página del proyecto: https://ustc3dv.github.io/City-on-Web/

English

NeRF has significantly advanced 3D scene reconstruction, capturing intricate details across various environments. Existing methods have successfully leveraged radiance field baking to facilitate real-time rendering of small scenes. However, when applied to large-scale scenes, these techniques encounter significant challenges, struggling to provide a seamless real-time experience due to limited resources in computation, memory, and bandwidth. In this paper, we propose City-on-Web, which represents the whole scene by partitioning it into manageable blocks, each with its own Level-of-Detail, ensuring high fidelity, efficient memory management and fast rendering. Meanwhile, we carefully design the training and inference process such that the final rendering result on web is consistent with training. Thanks to our novel representation and carefully designed training/inference process, we are the first to achieve real-time rendering of large-scale scenes in resource-constrained environments. Extensive experimental results demonstrate that our method facilitates real-time rendering of large-scale scenes on a web platform, achieving 32FPS at 1080P resolution with an RTX 3060 GPU, while simultaneously achieving a quality that closely rivals that of state-of-the-art methods. Project page: https://ustc3dv.github.io/City-on-Web/