NeuRBF: Eine Neural-Fields-Darstellung mit adaptiven radialen Basisfunktionen

NeuRBF: A Neural Fields Representation with Adaptive Radial Basis Functions

September 27, 2023

Autoren: Zhang Chen, Zhong Li, Liangchen Song, Lele Chen, Jingyi Yu, Junsong Yuan, Yi Xu

cs.AI

Zusammenfassung

Wir stellen eine neuartige Art von neuronalen Feldern vor, die allgemeine radiale Basisfunktionen für die Signalrepräsentation verwendet. State-of-the-Art neuronale Felder basieren typischerweise auf gitterbasierten Darstellungen zur Speicherung lokaler neuronaler Merkmale und verwenden N-dimensionale lineare Kerne zur Interpolation von Merkmalen an kontinuierlichen Abfragepunkten. Die räumlichen Positionen ihrer neuronalen Merkmale sind auf Gitterknoten fixiert und können sich nicht gut an Zielsignale anpassen. Unser Ansatz hingegen basiert auf allgemeinen radialen Basisfunktionen mit flexibler Kernelposition und -form, die eine höhere räumliche Anpassungsfähigkeit besitzen und sich enger an Zielsignale anpassen können. Um die kanalweise Kapazität der radialen Basisfunktionen weiter zu verbessern, schlagen wir vor, sie mit multifrequenten Sinusfunktionen zu kombinieren. Diese Technik erweitert eine radiale Basisfunktion zu mehreren Fourier-radialen Basisfunktionen unterschiedlicher Frequenzbänder, ohne zusätzliche Parameter zu benötigen, und erleichtert so die Darstellung von Details. Darüber hinaus erbt unsere hybride Kombination, die adaptive radiale Basisfunktionen mit gitterbasierten verbindet, sowohl Anpassungsfähigkeit als auch Interpolationsglätte. Wir haben sorgfältig Gewichtungsschemata entworfen, um radiale Basisfunktionen effektiv an verschiedene Signaltypen anzupassen. Unsere Experimente zur 2D-Bild- und 3D-Signed-Distance-Field-Repräsentation demonstrieren die höhere Genauigkeit und Kompaktheit unserer Methode im Vergleich zu bisherigen Ansätzen. Bei der Anwendung auf die Rekonstruktion neuronaler Strahlungsfelder erreicht unsere Methode State-of-the-Art-Renderingqualität bei geringer Modellgröße und vergleichbarer Trainingsgeschwindigkeit.

English

We present a novel type of neural fields that uses general radial bases for signal representation. State-of-the-art neural fields typically rely on grid-based representations for storing local neural features and N-dimensional linear kernels for interpolating features at continuous query points. The spatial positions of their neural features are fixed on grid nodes and cannot well adapt to target signals. Our method instead builds upon general radial bases with flexible kernel position and shape, which have higher spatial adaptivity and can more closely fit target signals. To further improve the channel-wise capacity of radial basis functions, we propose to compose them with multi-frequency sinusoid functions. This technique extends a radial basis to multiple Fourier radial bases of different frequency bands without requiring extra parameters, facilitating the representation of details. Moreover, by marrying adaptive radial bases with grid-based ones, our hybrid combination inherits both adaptivity and interpolation smoothness. We carefully designed weighting schemes to let radial bases adapt to different types of signals effectively. Our experiments on 2D image and 3D signed distance field representation demonstrate the higher accuracy and compactness of our method than prior arts. When applied to neural radiance field reconstruction, our method achieves state-of-the-art rendering quality, with small model size and comparable training speed.