효율적인 신경 방사 필드 렌더링을 위한 적응형 쉘

초록

신경 광도 필드(Neural Radiance Fields)는 새로운 시점 합성에서 전례 없는 품질을 달성하지만, 그 체적적 표현 방식은 여전히 비용이 많이 들어 고해상도 이미지를 렌더링하기 위해 엄청난 수의 샘플이 필요합니다. 체적 인코딩은 잎사귀나 머리카락과 같은 흐릿한 기하학적 구조를 표현하는 데 필수적이며, 확률적 최적화에 잘 적합합니다. 그러나 많은 장면은 결국 대부분 단단한 표면으로 구성되어 있으며, 이는 픽셀당 단일 샘플로도 정확하게 렌더링될 수 있습니다. 이러한 통찰을 바탕으로, 우리는 체적 기반 렌더링과 표면 기반 렌더링 사이를 부드럽게 전환하는 신경 광도 표현 방식을 제안하여 렌더링 속도를 크게 가속화하고 시각적 충실도까지 향상시킵니다. 우리의 방법은 신경 체적 표현을 공간적으로 경계짓는 명시적 메쉬 봉투를 구성합니다. 단단한 영역에서는 이 봉투가 거의 표면으로 수렴하며, 종종 단일 샘플로 렌더링될 수 있습니다. 이를 위해, 우리는 밀도의 확산을 인코딩하는 학습된 공간적으로 변화하는 커널 크기로 NeuS 표현을 일반화하여, 체적과 같은 영역에는 넓은 커널을, 표면과 같은 영역에는 좁은 커널을 적합시킵니다. 그런 다음, 커널 크기에 의해 결정된 표면 주변의 좁은 밴드 내에서 명시적 메쉬를 추출하고, 이 밴드 내에서 광도 필드를 미세 조정합니다. 추론 시에는 메쉬에 대해 광선을 투사하고, 포함된 영역 내에서만 광도 필드를 평가하여 필요한 샘플 수를 크게 줄입니다. 실험 결과, 우리의 접근 방식은 매우 높은 충실도로 효율적인 렌더링을 가능하게 합니다. 또한, 추출된 봉투가 애니메이션 및 시뮬레이션과 같은 하위 작업을 가능하게 한다는 것을 보여줍니다.

English

Neural radiance fields achieve unprecedented quality for novel view synthesis, but their volumetric formulation remains expensive, requiring a huge number of samples to render high-resolution images. Volumetric encodings are essential to represent fuzzy geometry such as foliage and hair, and they are well-suited for stochastic optimization. Yet, many scenes ultimately consist largely of solid surfaces which can be accurately rendered by a single sample per pixel. Based on this insight, we propose a neural radiance formulation that smoothly transitions between volumetric- and surface-based rendering, greatly accelerating rendering speed and even improving visual fidelity. Our method constructs an explicit mesh envelope which spatially bounds a neural volumetric representation. In solid regions, the envelope nearly converges to a surface and can often be rendered with a single sample. To this end, we generalize the NeuS formulation with a learned spatially-varying kernel size which encodes the spread of the density, fitting a wide kernel to volume-like regions and a tight kernel to surface-like regions. We then extract an explicit mesh of a narrow band around the surface, with width determined by the kernel size, and fine-tune the radiance field within this band. At inference time, we cast rays against the mesh and evaluate the radiance field only within the enclosed region, greatly reducing the number of samples required. Experiments show that our approach enables efficient rendering at very high fidelity. We also demonstrate that the extracted envelope enables downstream applications such as animation and simulation.

효율적인 신경 방사 필드 렌더링을 위한 적응형 쉘

Adaptive Shells for Efficient Neural Radiance Field Rendering

초록

Support