NeuRBF: 적응형 방사 기저 함수를 활용한 신경 필드 표현

초록

우리는 신호 표현을 위해 일반적인 방사형 기저(radial basis)를 사용하는 새로운 유형의 신경 필드(neural field)를 제안합니다. 최신 신경 필드는 일반적으로 지역적 신경 특징을 저장하기 위해 그리드 기반 표현을 사용하고, 연속적인 쿼리 지점에서 특징을 보간하기 위해 N차원 선형 커널을 활용합니다. 이들의 신경 특징의 공간적 위치는 그리드 노드에 고정되어 있어 대상 신호에 잘 적응하지 못합니다. 반면, 우리의 방법은 커널 위치와 형태가 유연한 일반적인 방사형 기저를 기반으로 하여, 더 높은 공간 적응성을 가지며 대상 신호에 더 밀접하게 적합할 수 있습니다. 방사형 기저 함수의 채널별 용량을 더욱 향상시키기 위해, 우리는 이를 다중 주파수 사인 함수와 결합하는 방법을 제안합니다. 이 기술은 추가 매개변수 없이도 방사형 기저를 다양한 주파수 대역의 다중 푸리에 방사형 기저로 확장하여 세부 사항의 표현을 용이하게 합니다. 또한, 적응형 방사형 기저와 그리드 기반 기저를 결합함으로써, 우리의 하이브리드 조합은 적응성과 보간의 부드러움을 모두 상속받습니다. 우리는 방사형 기저가 다양한 유형의 신호에 효과적으로 적응할 수 있도록 가중치 방식을 신중하게 설계했습니다. 2D 이미지와 3D 부호 거리 필드(signed distance field) 표현에 대한 실험을 통해, 우리의 방법이 기존 기술보다 더 높은 정확도와 간결함을 보여줌을 입증했습니다. 신경 방사 필드(neural radiance field) 재구성에 적용했을 때, 우리의 방법은 작은 모델 크기와 비교 가능한 학습 속도로 최신 수준의 렌더링 품질을 달성했습니다.

English

We present a novel type of neural fields that uses general radial bases for signal representation. State-of-the-art neural fields typically rely on grid-based representations for storing local neural features and N-dimensional linear kernels for interpolating features at continuous query points. The spatial positions of their neural features are fixed on grid nodes and cannot well adapt to target signals. Our method instead builds upon general radial bases with flexible kernel position and shape, which have higher spatial adaptivity and can more closely fit target signals. To further improve the channel-wise capacity of radial basis functions, we propose to compose them with multi-frequency sinusoid functions. This technique extends a radial basis to multiple Fourier radial bases of different frequency bands without requiring extra parameters, facilitating the representation of details. Moreover, by marrying adaptive radial bases with grid-based ones, our hybrid combination inherits both adaptivity and interpolation smoothness. We carefully designed weighting schemes to let radial bases adapt to different types of signals effectively. Our experiments on 2D image and 3D signed distance field representation demonstrate the higher accuracy and compactness of our method than prior arts. When applied to neural radiance field reconstruction, our method achieves state-of-the-art rendering quality, with small model size and comparable training speed.

NeuRBF: 적응형 방사 기저 함수를 활용한 신경 필드 표현

NeuRBF: A Neural Fields Representation with Adaptive Radial Basis Functions

초록

Support