NeuRBF: Представление нейронных полей с адаптивными радиальными базисными функциями

NeuRBF: A Neural Fields Representation with Adaptive Radial Basis Functions

September 27, 2023

Авторы: Zhang Chen, Zhong Li, Liangchen Song, Lele Chen, Jingyi Yu, Junsong Yuan, Yi Xu

cs.AI

Аннотация

Мы представляем новый тип нейронных полей, использующих общие радиальные базисы для представления сигналов. Современные нейронные поля обычно полагаются на сеточные представления для хранения локальных нейронных признаков и N-мерные линейные ядра для интерполяции признаков в непрерывных точках запроса. Пространственные позиции их нейронных признаков фиксированы на узлах сетки и не могут эффективно адаптироваться к целевым сигналам. Наш метод, напротив, основывается на общих радиальных базисах с гибким положением и формой ядра, которые обладают более высокой пространственной адаптивностью и могут более точно соответствовать целевым сигналам. Для дальнейшего повышения емкости радиальных базисных функций по каналам мы предлагаем комбинировать их с многочастотными синусоидальными функциями. Этот метод расширяет радиальный базис до нескольких Фурье-радиальных базисов различных частотных диапазонов без необходимости в дополнительных параметрах, что способствует представлению деталей. Более того, объединяя адаптивные радиальные базисы с сетечными, наша гибридная комбинация наследует как адаптивность, так и плавность интерполяции. Мы тщательно разработали схемы взвешивания, чтобы радиальные базисы могли эффективно адаптироваться к различным типам сигналов. Наши эксперименты по представлению 2D-изображений и 3D-полей знаковых расстояний демонстрируют более высокую точность и компактность нашего метода по сравнению с предыдущими подходами. При применении к реконструкции нейронных полей излучения наш метод достигает наивысшего качества рендеринга при небольшом размере модели и сопоставимой скорости обучения.

English

We present a novel type of neural fields that uses general radial bases for signal representation. State-of-the-art neural fields typically rely on grid-based representations for storing local neural features and N-dimensional linear kernels for interpolating features at continuous query points. The spatial positions of their neural features are fixed on grid nodes and cannot well adapt to target signals. Our method instead builds upon general radial bases with flexible kernel position and shape, which have higher spatial adaptivity and can more closely fit target signals. To further improve the channel-wise capacity of radial basis functions, we propose to compose them with multi-frequency sinusoid functions. This technique extends a radial basis to multiple Fourier radial bases of different frequency bands without requiring extra parameters, facilitating the representation of details. Moreover, by marrying adaptive radial bases with grid-based ones, our hybrid combination inherits both adaptivity and interpolation smoothness. We carefully designed weighting schemes to let radial bases adapt to different types of signals effectively. Our experiments on 2D image and 3D signed distance field representation demonstrate the higher accuracy and compactness of our method than prior arts. When applied to neural radiance field reconstruction, our method achieves state-of-the-art rendering quality, with small model size and comparable training speed.