NeuRBF : Une représentation par champs neuronaux avec fonctions de base radiale adaptatives

NeuRBF: A Neural Fields Representation with Adaptive Radial Basis Functions

September 27, 2023

Auteurs: Zhang Chen, Zhong Li, Liangchen Song, Lele Chen, Jingyi Yu, Junsong Yuan, Yi Xu

cs.AI

Résumé

Nous présentons un nouveau type de champs neuronaux qui utilise des bases radiales générales pour la représentation de signaux. Les champs neuronaux de pointe reposent généralement sur des représentations basées sur des grilles pour stocker des caractéristiques neuronales locales et sur des noyaux linéaires à N dimensions pour interpoler les caractéristiques à des points de requête continus. Les positions spatiales de leurs caractéristiques neuronales sont fixées sur les nœuds de la grille et ne peuvent pas s'adapter efficacement aux signaux cibles. Notre méthode, en revanche, s'appuie sur des bases radiales générales avec une position et une forme de noyau flexibles, offrant une meilleure adaptabilité spatiale et permettant de mieux s'ajuster aux signaux cibles. Pour améliorer davantage la capacité par canal des fonctions de base radiale, nous proposons de les composer avec des fonctions sinusoidales à multi-fréquences. Cette technique étend une base radiale à plusieurs bases radiales de Fourier de différentes bandes de fréquence sans nécessiter de paramètres supplémentaires, facilitant ainsi la représentation des détails. De plus, en combinant des bases radiales adaptatives avec des bases basées sur des grilles, notre combinaison hybride hérite à la fois de l'adaptabilité et de la fluidité d'interpolation. Nous avons soigneusement conçu des schémas de pondération pour permettre aux bases radiales de s'adapter efficacement à différents types de signaux. Nos expériences sur la représentation d'images 2D et de champs de distance signée 3D démontrent la plus grande précision et compacité de notre méthode par rapport aux techniques antérieures. Lorsqu'elle est appliquée à la reconstruction de champs de radiance neuronaux, notre méthode atteint une qualité de rendu de pointe, avec une taille de modèle réduite et une vitesse d'entraînement comparable.

English

We present a novel type of neural fields that uses general radial bases for signal representation. State-of-the-art neural fields typically rely on grid-based representations for storing local neural features and N-dimensional linear kernels for interpolating features at continuous query points. The spatial positions of their neural features are fixed on grid nodes and cannot well adapt to target signals. Our method instead builds upon general radial bases with flexible kernel position and shape, which have higher spatial adaptivity and can more closely fit target signals. To further improve the channel-wise capacity of radial basis functions, we propose to compose them with multi-frequency sinusoid functions. This technique extends a radial basis to multiple Fourier radial bases of different frequency bands without requiring extra parameters, facilitating the representation of details. Moreover, by marrying adaptive radial bases with grid-based ones, our hybrid combination inherits both adaptivity and interpolation smoothness. We carefully designed weighting schemes to let radial bases adapt to different types of signals effectively. Our experiments on 2D image and 3D signed distance field representation demonstrate the higher accuracy and compactness of our method than prior arts. When applied to neural radiance field reconstruction, our method achieves state-of-the-art rendering quality, with small model size and comparable training speed.