ニューラル方向符号化による効率的かつ正確な視点依存外観モデリング

要旨

鏡面反射を持つ物体、例えば光沢のある金属や艶やかな塗料の新規視点合成は、依然として重要な課題である。光沢感だけでなく、環境内の他の物体の反射を含むグローバルイルミネーション効果も、シーンを忠実に再現するための重要な要素である。本論文では、鏡面反射物体のレンダリングのためのニューラルラジアンスフィールド（NeRF）の視点依存外観符号化であるNeural Directional Encoding（NDE）を提案する。NDEは、特徴グリッドベースの空間符号化の概念を角度領域に転換し、高周波角度信号のモデリング能力を大幅に向上させる。従来の角度入力のみの符号化関数を使用する手法とは対照的に、我々は空間的特徴をコーントレースして空間的に変化する方向符号化を取得し、難しい相互反射効果に対処する。合成データセットと実データセットの両方での広範な実験により、NDEを組み込んだNeRFモデルが、(1) 鏡面反射物体の視点合成において最先端の性能を上回り、(2) 小さなネットワークで動作し、高速（リアルタイム）推論を可能にすることが示された。プロジェクトのウェブページとソースコードは以下で公開されている：https://lwwu2.github.io/nde/

English

Novel-view synthesis of specular objects like shiny metals or glossy paints remains a significant challenge. Not only the glossy appearance but also global illumination effects, including reflections of other objects in the environment, are critical components to faithfully reproduce a scene. In this paper, we present Neural Directional Encoding (NDE), a view-dependent appearance encoding of neural radiance fields (NeRF) for rendering specular objects. NDE transfers the concept of feature-grid-based spatial encoding to the angular domain, significantly improving the ability to model high-frequency angular signals. In contrast to previous methods that use encoding functions with only angular input, we additionally cone-trace spatial features to obtain a spatially varying directional encoding, which addresses the challenging interreflection effects. Extensive experiments on both synthetic and real datasets show that a NeRF model with NDE (1) outperforms the state of the art on view synthesis of specular objects, and (2) works with small networks to allow fast (real-time) inference. The project webpage and source code are available at: https://lwwu2.github.io/nde/.

ニューラル方向符号化による効率的かつ正確な視点依存外観モデリング

Neural Directional Encoding for Efficient and Accurate View-Dependent Appearance Modeling

要旨

Support