NeRF-Casting: 일관된 반사를 통한 향상된 뷰 종속적 외관

초록

Neural Radiance Fields(NeRFs)는 일반적으로 시점 변화에 따라 외관이 급격히 변하는 고광택 물체의 재구성 및 렌더링에 어려움을 겪습니다. 최근 연구들은 NeRF가 원거리 환경 조명의 상세한 고광택 외관을 렌더링하는 능력을 향상시켰지만, 근접한 콘텐츠의 일관된 반사를 합성하는 데는 여전히 한계가 있습니다. 더욱이, 이러한 기술들은 방사광을 모델링하기 위해 계산 비용이 큰 대형 신경망에 의존하므로 최적화 및 렌더링 속도가 심각하게 제한됩니다. 우리는 이러한 문제를 레이 트레이싱 기반의 접근법으로 해결합니다: 각 카메라 레이를 따라 위치한 점에서 시점에 따라 달라지는 방사광을 비용이 많이 드는 신경망에 질의하는 대신, 우리의 모델은 이러한 점들에서 반사 레이를 발사하고 이를 NeRF 표현을 통해 추적하여 특징 벡터를 렌더링한 후, 이를 작고 비용이 적게 드는 네트워크를 통해 색상으로 디코딩합니다. 우리는 우리의 모델이 광택이 있는 물체가 포함된 장면의 시점 합성에서 기존 방법들을 능가하며, 실제 장면에서 사실적인 고광택 외관과 반사를 합성할 수 있는 유일한 기존 NeRF 방법임을 보여줍니다. 또한, 이는 최신 시점 합성 모델과 비슷한 최적화 시간을 요구합니다.

English

Neural Radiance Fields (NeRFs) typically struggle to reconstruct and render highly specular objects, whose appearance varies quickly with changes in viewpoint. Recent works have improved NeRF's ability to render detailed specular appearance of distant environment illumination, but are unable to synthesize consistent reflections of closer content. Moreover, these techniques rely on large computationally-expensive neural networks to model outgoing radiance, which severely limits optimization and rendering speed. We address these issues with an approach based on ray tracing: instead of querying an expensive neural network for the outgoing view-dependent radiance at points along each camera ray, our model casts reflection rays from these points and traces them through the NeRF representation to render feature vectors which are decoded into color using a small inexpensive network. We demonstrate that our model outperforms prior methods for view synthesis of scenes containing shiny objects, and that it is the only existing NeRF method that can synthesize photorealistic specular appearance and reflections in real-world scenes, while requiring comparable optimization time to current state-of-the-art view synthesis models.

NeRF-Casting: 일관된 반사를 통한 향상된 뷰 종속적 외관

NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections

초록

Support