MixRT: 실시간 NeRF 렌더링을 위한 혼합 신경 표현

초록

Neural Radiance Field(NeRF)는 놀라운 사실적 재구성 및 렌더링 능력으로 인해 새로운 시점 합성 분야에서 선도적인 기술로 부상했습니다. 그러나 대규모 장면에서 실시간 NeRF 렌더링을 달성하는 것은 여전히 어려운 과제로 남아 있으며, 이로 인해 많은 수의 삼각형으로 구성된 복잡한 베이크드 메시 표현이나 베이크드 표현에서의 자원 집약적인 레이 마칭 기법이 주로 사용되어 왔습니다. 우리는 이러한 관행에 의문을 제기하며, 사실적인 렌더링 품질을 달성하기 위해 많은 삼각형으로 구성된 고품질 기하학이 반드시 필요하지 않다는 점을 관찰했습니다. 이에 따라 우리는 저품질 메시, 시점 의존 변위 맵, 그리고 압축된 NeRF 모델을 포함하는 새로운 NeRF 표현 방식인 MixRT를 제안합니다. 이 설계는 기존 그래픽 하드웨어의 능력을 효과적으로 활용하여 에지 디바이스에서의 실시간 NeRF 렌더링을 가능하게 합니다. 고도로 최적화된 WebGL 기반 렌더링 프레임워크를 활용하여, 우리가 제안한 MixRT는 에지 디바이스에서 실시간 렌더링 속도(MacBook M1 Pro 노트북에서 1280 x 720 해상도로 30 FPS 이상), 더 나은 렌더링 품질(Unbounded-360 데이터셋의 실내 장면에서 0.2 PSNR 향상), 그리고 더 작은 저장 공간(최신 방법 대비 80% 미만)을 달성했습니다.

English

Neural Radiance Field (NeRF) has emerged as a leading technique for novel view synthesis, owing to its impressive photorealistic reconstruction and rendering capability. Nevertheless, achieving real-time NeRF rendering in large-scale scenes has presented challenges, often leading to the adoption of either intricate baked mesh representations with a substantial number of triangles or resource-intensive ray marching in baked representations. We challenge these conventions, observing that high-quality geometry, represented by meshes with substantial triangles, is not necessary for achieving photorealistic rendering quality. Consequently, we propose MixRT, a novel NeRF representation that includes a low-quality mesh, a view-dependent displacement map, and a compressed NeRF model. This design effectively harnesses the capabilities of existing graphics hardware, thus enabling real-time NeRF rendering on edge devices. Leveraging a highly-optimized WebGL-based rendering framework, our proposed MixRT attains real-time rendering speeds on edge devices (over 30 FPS at a resolution of 1280 x 720 on a MacBook M1 Pro laptop), better rendering quality (0.2 PSNR higher in indoor scenes of the Unbounded-360 datasets), and a smaller storage size (less than 80% compared to state-of-the-art methods).

MixRT: 실시간 NeRF 렌더링을 위한 혼합 신경 표현

MixRT: Mixed Neural Representations For Real-Time NeRF Rendering

초록

Support