효율적이고 정확한 시점 의존적 외관 모델링을 위한 신경 방향성 인코딩

Neural Directional Encoding for Efficient and Accurate View-Dependent Appearance Modeling

May 23, 2024

저자: Liwen Wu, Sai Bi, Zexiang Xu, Fujun Luan, Kai Zhang, Iliyan Georgiev, Kalyan Sunkavalli, Ravi Ramamoorthi

cs.AI

초록

광택이 있는 금속이나 유광 페인트와 같은 반사체의 새로운 시점 합성은 여전히 큰 도전 과제로 남아 있습니다. 광택 있는 외관뿐만 아니라 환경 내 다른 물체의 반사와 같은 전역 조명 효과도 장면을 충실히 재현하기 위한 중요한 요소입니다. 본 논문에서는 반사체 렌더링을 위한 신경 방사장(NeRF)의 시점 의존적 외관 인코딩인 Neural Directional Encoding(NDE)을 제안합니다. NDE는 특징 그리드 기반 공간 인코딩 개념을 각도 영역으로 전환하여 고주파 각도 신호 모델링 능력을 크게 향상시킵니다. 기존의 각도 입력만 사용하는 인코딩 함수와 달리, NDE는 공간 특징을 콘 트레이싱하여 공간적으로 변화하는 방향 인코딩을 얻음으로써 어려운 상호 반사 효과를 해결합니다. 합성 및 실제 데이터셋에 대한 광범위한 실험을 통해 NDE를 적용한 NeRF 모델이 (1) 반사체의 시점 합성에서 최첨단 기술을 능가하며, (2) 작은 네트워크로도 실시간 추론이 가능함을 보여줍니다. 프로젝트 웹페이지와 소스 코드는 https://lwwu2.github.io/nde/에서 확인할 수 있습니다.

English

Novel-view synthesis of specular objects like shiny metals or glossy paints remains a significant challenge. Not only the glossy appearance but also global illumination effects, including reflections of other objects in the environment, are critical components to faithfully reproduce a scene. In this paper, we present Neural Directional Encoding (NDE), a view-dependent appearance encoding of neural radiance fields (NeRF) for rendering specular objects. NDE transfers the concept of feature-grid-based spatial encoding to the angular domain, significantly improving the ability to model high-frequency angular signals. In contrast to previous methods that use encoding functions with only angular input, we additionally cone-trace spatial features to obtain a spatially varying directional encoding, which addresses the challenging interreflection effects. Extensive experiments on both synthetic and real datasets show that a NeRF model with NDE (1) outperforms the state of the art on view synthesis of specular objects, and (2) works with small networks to allow fast (real-time) inference. The project webpage and source code are available at: https://lwwu2.github.io/nde/.