PyNeRF: 피라미드 구조의 신경 방사 필드

초록

Neural Radiance Fields(NeRFs)는 공간 그리드 표현을 통해 크게 가속화될 수 있습니다. 그러나 이 방법들은 스케일에 대해 명시적으로 고려하지 않기 때문에, 서로 다른 카메라 거리에서 캡처된 장면을 재구성할 때 앨리어싱 아티팩트가 발생합니다. Mip-NeRF와 그 확장 버전들은 점 샘플링 대신 볼륨 프러스텀을 투영하는 스케일 인식 렌더러를 제안하지만, 이러한 접근 방식은 그리드 방법과 쉽게 호환되지 않는 위치 인코딩에 의존합니다. 우리는 그리드 기반 모델에 간단한 수정을 제안하여, 서로 다른 공간 그리드 해상도에서 모델 헤드를 학습시킵니다. 렌더링 시에는 더 큰 볼륨을 커버하는 샘플을 렌더링하기 위해 더 거친 그리드를 사용합니다. 우리의 방법은 기존의 가속화된 NeRF 방법에 쉽게 적용할 수 있으며, 성능 오버헤드를 최소화하면서도(각 모델 헤드가 빠르게 평가되기 때문에) 렌더링 품질을 크게 향상시킵니다(합성 및 무한한 실세계 장면에서 오류율을 20-90% 감소). Mip-NeRF와 비교했을 때, 우리는 오류율을 20% 감소시키면서도 60배 이상 빠르게 학습합니다.

English

Neural Radiance Fields (NeRFs) can be dramatically accelerated by spatial grid representations. However, they do not explicitly reason about scale and so introduce aliasing artifacts when reconstructing scenes captured at different camera distances. Mip-NeRF and its extensions propose scale-aware renderers that project volumetric frustums rather than point samples but such approaches rely on positional encodings that are not readily compatible with grid methods. We propose a simple modification to grid-based models by training model heads at different spatial grid resolutions. At render time, we simply use coarser grids to render samples that cover larger volumes. Our method can be easily applied to existing accelerated NeRF methods and significantly improves rendering quality (reducing error rates by 20-90% across synthetic and unbounded real-world scenes) while incurring minimal performance overhead (as each model head is quick to evaluate). Compared to Mip-NeRF, we reduce error rates by 20% while training over 60x faster.

PyNeRF: 피라미드 구조의 신경 방사 필드

PyNeRF: Pyramidal Neural Radiance Fields

초록

Support