NeuRBF：適応型動径基底関数を用いたニューラルフィールド表現

NeuRBF: A Neural Fields Representation with Adaptive Radial Basis Functions

September 27, 2023

著者: Zhang Chen, Zhong Li, Liangchen Song, Lele Chen, Jingyi Yu, Junsong Yuan, Yi Xu

cs.AI

要旨

本論文では、信号表現に一般的な放射基底を用いた新たなタイプのニューラルフィールドを提案する。最先端のニューラルフィールドは通常、局所的なニューラル特徴を格納するためにグリッドベースの表現と、連続的なクエリポイントでの特徴補間にN次元線形カーネルを利用している。これらのニューラル特徴の空間的位置はグリッドノード上に固定されており、ターゲット信号に適応することが難しい。我々の手法では、カーネルの位置と形状が柔軟な一般的な放射基底を基盤としており、より高い空間適応性を持ち、ターゲット信号により密接にフィットすることができる。放射基底関数のチャネルごとの容量をさらに向上させるため、多周波数の正弦波関数と組み合わせることを提案する。この技術により、追加のパラメータを必要とせずに、異なる周波数帯域の複数のフーリエ放射基底に拡張され、詳細な表現が容易になる。さらに、適応的な放射基底とグリッドベースのものを組み合わせることで、我々のハイブリッド手法は適応性と補間の滑らかさの両方を継承する。異なるタイプの信号に放射基底が効果的に適応するよう、重み付けスキームを慎重に設計した。2D画像と3D符号付き距離場の表現に関する実験により、我々の手法が従来技術よりも高い精度とコンパクトさを実現することを示した。ニューラルラジアンスフィールドの再構築に適用した場合、我々の手法は小さなモデルサイズと同等のトレーニング速度で、最先端のレンダリング品質を達成した。

English

We present a novel type of neural fields that uses general radial bases for signal representation. State-of-the-art neural fields typically rely on grid-based representations for storing local neural features and N-dimensional linear kernels for interpolating features at continuous query points. The spatial positions of their neural features are fixed on grid nodes and cannot well adapt to target signals. Our method instead builds upon general radial bases with flexible kernel position and shape, which have higher spatial adaptivity and can more closely fit target signals. To further improve the channel-wise capacity of radial basis functions, we propose to compose them with multi-frequency sinusoid functions. This technique extends a radial basis to multiple Fourier radial bases of different frequency bands without requiring extra parameters, facilitating the representation of details. Moreover, by marrying adaptive radial bases with grid-based ones, our hybrid combination inherits both adaptivity and interpolation smoothness. We carefully designed weighting schemes to let radial bases adapt to different types of signals effectively. Our experiments on 2D image and 3D signed distance field representation demonstrate the higher accuracy and compactness of our method than prior arts. When applied to neural radiance field reconstruction, our method achieves state-of-the-art rendering quality, with small model size and comparable training speed.