City-on-Web: Renderização Neural em Tempo Real de Cenas em Grande Escala na Web

City-on-Web: Real-time Neural Rendering of Large-scale Scenes on the Web

December 27, 2023

Autores: Kaiwen Song, Juyong Zhang

cs.AI

Resumo

O NeRF avançou significativamente a reconstrução de cenas 3D, capturando detalhes intrincados em diversos ambientes. Métodos existentes já utilizaram com sucesso o "baking" de campos de radiação para facilitar a renderização em tempo real de cenas pequenas. No entanto, ao serem aplicados a cenas em grande escala, essas técnicas enfrentam desafios significativos, lutando para fornecer uma experiência em tempo real contínua devido a recursos limitados de computação, memória e largura de banda. Neste artigo, propomos o City-on-Web, que representa a cena inteira dividindo-a em blocos gerenciáveis, cada um com seu próprio Nível de Detalhe (LOD), garantindo alta fidelidade, gerenciamento eficiente de memória e renderização rápida. Paralelamente, projetamos cuidadosamente o processo de treinamento e inferência para que o resultado final da renderização na web seja consistente com o treinamento. Graças à nossa nova representação e ao processo de treinamento/inferência cuidadosamente projetado, somos os primeiros a alcançar a renderização em tempo real de cenas em grande escala em ambientes com recursos limitados. Resultados experimentais extensivos demonstram que nosso método facilita a renderização em tempo real de cenas em grande escala em uma plataforma web, atingindo 32 FPS em resolução 1080P com uma GPU RTX 3060, ao mesmo tempo em que alcança uma qualidade que rivaliza de perto com a dos métodos state-of-the-art. Página do projeto: https://ustc3dv.github.io/City-on-Web/

English

NeRF has significantly advanced 3D scene reconstruction, capturing intricate details across various environments. Existing methods have successfully leveraged radiance field baking to facilitate real-time rendering of small scenes. However, when applied to large-scale scenes, these techniques encounter significant challenges, struggling to provide a seamless real-time experience due to limited resources in computation, memory, and bandwidth. In this paper, we propose City-on-Web, which represents the whole scene by partitioning it into manageable blocks, each with its own Level-of-Detail, ensuring high fidelity, efficient memory management and fast rendering. Meanwhile, we carefully design the training and inference process such that the final rendering result on web is consistent with training. Thanks to our novel representation and carefully designed training/inference process, we are the first to achieve real-time rendering of large-scale scenes in resource-constrained environments. Extensive experimental results demonstrate that our method facilitates real-time rendering of large-scale scenes on a web platform, achieving 32FPS at 1080P resolution with an RTX 3060 GPU, while simultaneously achieving a quality that closely rivals that of state-of-the-art methods. Project page: https://ustc3dv.github.io/City-on-Web/