City-on-Web: 웹 기반 대규모 장면의 실시간 신경 렌더링
City-on-Web: Real-time Neural Rendering of Large-scale Scenes on the Web
December 27, 2023
저자: Kaiwen Song, Juyong Zhang
cs.AI
초록
NeRF는 다양한 환경에서의 복잡한 디테일을 포착하며 3D 장면 재구성 분야에서 큰 진전을 이루었습니다. 기존 방법들은 작은 규모의 장면에 대해 실시간 렌더링을 가능하게 하는 방사광장(radiance field) 베이킹 기술을 성공적으로 활용해 왔습니다. 그러나 대규모 장면에 적용할 경우, 이러한 기술들은 계산, 메모리, 대역폭 등의 제한된 자원으로 인해 원활한 실시간 경험을 제공하는 데 상당한 어려움을 겪습니다. 본 논문에서는 City-on-Web을 제안하며, 이는 전체 장면을 관리 가능한 블록으로 분할하고 각 블록에 적절한 Level-of-Detail을 부여하여 높은 정확도, 효율적인 메모리 관리, 그리고 빠른 렌더링을 보장합니다. 동시에, 웹 상의 최종 렌더링 결과가 학습 과정과 일관성을 유지하도록 학습 및 추론 과정을 신중하게 설계하였습니다. 이러한 새로운 표현 방식과 신중하게 설계된 학습/추론 프로세스 덕분에, 우리는 자원이 제한된 환경에서 대규모 장면의 실시간 렌더링을 최초로 달성하였습니다. 광범위한 실험 결과는 우리의 방법이 웹 플랫폼에서 대규모 장면의 실시간 렌더링을 가능하게 하며, RTX 3060 GPU에서 1080P 해상도로 32FPS를 달성하면서도 최신 기술과 거의 비슷한 품질을 유지함을 보여줍니다. 프로젝트 페이지: https://ustc3dv.github.io/City-on-Web/
English
NeRF has significantly advanced 3D scene reconstruction, capturing intricate
details across various environments. Existing methods have successfully
leveraged radiance field baking to facilitate real-time rendering of small
scenes. However, when applied to large-scale scenes, these techniques encounter
significant challenges, struggling to provide a seamless real-time experience
due to limited resources in computation, memory, and bandwidth. In this paper,
we propose City-on-Web, which represents the whole scene by partitioning it
into manageable blocks, each with its own Level-of-Detail, ensuring high
fidelity, efficient memory management and fast rendering. Meanwhile, we
carefully design the training and inference process such that the final
rendering result on web is consistent with training. Thanks to our novel
representation and carefully designed training/inference process, we are the
first to achieve real-time rendering of large-scale scenes in
resource-constrained environments. Extensive experimental results demonstrate
that our method facilitates real-time rendering of large-scale scenes on a web
platform, achieving 32FPS at 1080P resolution with an RTX 3060 GPU, while
simultaneously achieving a quality that closely rivals that of state-of-the-art
methods. Project page: https://ustc3dv.github.io/City-on-Web/