City-on-Web: Нейронный рендеринг крупномасштабных сцен в реальном времени в веб-среде

City-on-Web: Real-time Neural Rendering of Large-scale Scenes on the Web

December 27, 2023

Авторы: Kaiwen Song, Juyong Zhang

cs.AI

Аннотация

NeRF значительно продвинул реконструкцию 3D-сцен, захватывая сложные детали в различных окружениях. Существующие методы успешно использовали "запекание" полей излучения для обеспечения рендеринга небольших сцен в реальном времени. Однако при применении к крупномасштабным сценам эти методы сталкиваются с серьезными трудностями, не обеспечивая плавного рендеринга в реальном времени из-за ограниченных вычислительных ресурсов, памяти и пропускной способности. В данной работе мы предлагаем City-on-Web, который представляет всю сцену, разделяя её на управляемые блоки, каждый с собственным уровнем детализации (Level-of-Detail), что обеспечивает высокую точность, эффективное управление памятью и быстрый рендеринг. При этом мы тщательно проектируем процесс обучения и вывода, чтобы конечный результат рендеринга в веб-среде соответствовал обучению. Благодаря нашей новой репрезентации и тщательно разработанному процессу обучения/вывода, мы первыми достигли рендеринга крупномасштабных сцен в реальном времени в условиях ограниченных ресурсов. Обширные экспериментальные результаты демонстрируют, что наш метод обеспечивает рендеринг крупномасштабных сцен в реальном времени на веб-платформе, достигая 32 кадров в секунду при разрешении 1080P на GPU RTX 3060, при этом качество близко к современным методам. Страница проекта: https://ustc3dv.github.io/City-on-Web/

English

NeRF has significantly advanced 3D scene reconstruction, capturing intricate details across various environments. Existing methods have successfully leveraged radiance field baking to facilitate real-time rendering of small scenes. However, when applied to large-scale scenes, these techniques encounter significant challenges, struggling to provide a seamless real-time experience due to limited resources in computation, memory, and bandwidth. In this paper, we propose City-on-Web, which represents the whole scene by partitioning it into manageable blocks, each with its own Level-of-Detail, ensuring high fidelity, efficient memory management and fast rendering. Meanwhile, we carefully design the training and inference process such that the final rendering result on web is consistent with training. Thanks to our novel representation and carefully designed training/inference process, we are the first to achieve real-time rendering of large-scale scenes in resource-constrained environments. Extensive experimental results demonstrate that our method facilitates real-time rendering of large-scale scenes on a web platform, achieving 32FPS at 1080P resolution with an RTX 3060 GPU, while simultaneously achieving a quality that closely rivals that of state-of-the-art methods. Project page: https://ustc3dv.github.io/City-on-Web/