HybridNeRF: 적응형 볼륨 표면을 통한 효율적인 신경 렌더링

초록

신경 방사 필드(Neural Radiance Fields)는 최첨단의 뷰 합성 품질을 제공하지만 렌더링 속도가 느린 경향이 있습니다. 그 이유 중 하나는 볼륨 렌더링을 사용하기 때문에 렌더링 시 각 광선마다 많은 샘플(및 모델 쿼리)이 필요하기 때문입니다. 이 표현 방식은 유연하고 최적화하기 쉽지만, 대부분의 실제 물체는 볼륨 대신 표면으로 더 효율적으로 모델링될 수 있으며, 이 경우 광선당 필요한 샘플 수가 훨씬 적습니다. 이러한 관찰은 부호 거리 함수(signed distance functions)와 같은 표면 표현 방식에서 상당한 진전을 이끌어냈지만, 이러한 방식은 반투명 및 얇은 구조를 모델링하는 데 어려움을 겪을 수 있습니다. 우리는 HybridNeRF라는 방법을 제안하며, 이 방법은 대부분의 물체를 표면으로 렌더링하면서도 (일반적으로) 어려운 영역의 작은 부분을 볼륨으로 모델링함으로써 두 표현 방식의 장점을 모두 활용합니다. 우리는 HybridNeRF를 도전적인 Eyeful Tower 데이터셋과 다른 일반적으로 사용되는 뷰 합성 데이터셋에 대해 평가합니다. 최신 래스터화 기반 접근법을 포함한 최첨단 베이스라인과 비교할 때, 우리는 오류율을 15-30% 개선하면서도 가상 현실 해상도(2Kx2K)에서 실시간 프레임 속도(최소 36 FPS)를 달성합니다.

English

Neural radiance fields provide state-of-the-art view synthesis quality but tend to be slow to render. One reason is that they make use of volume rendering, thus requiring many samples (and model queries) per ray at render time. Although this representation is flexible and easy to optimize, most real-world objects can be modeled more efficiently with surfaces instead of volumes, requiring far fewer samples per ray. This observation has spurred considerable progress in surface representations such as signed distance functions, but these may struggle to model semi-opaque and thin structures. We propose a method, HybridNeRF, that leverages the strengths of both representations by rendering most objects as surfaces while modeling the (typically) small fraction of challenging regions volumetrically. We evaluate HybridNeRF against the challenging Eyeful Tower dataset along with other commonly used view synthesis datasets. When comparing to state-of-the-art baselines, including recent rasterization-based approaches, we improve error rates by 15-30% while achieving real-time framerates (at least 36 FPS) for virtual-reality resolutions (2Kx2K).

HybridNeRF: 적응형 볼륨 표면을 통한 효율적인 신경 렌더링

HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces

초록

Support