NeuRBF: Una rappresentazione a campi neurali con funzioni radiali di base adattive

NeuRBF: A Neural Fields Representation with Adaptive Radial Basis Functions

September 27, 2023

Autori: Zhang Chen, Zhong Li, Liangchen Song, Lele Chen, Jingyi Yu, Junsong Yuan, Yi Xu

cs.AI

Abstract

Presentiamo un nuovo tipo di campi neurali che utilizza basi radiali generali per la rappresentazione del segnale. I campi neurali all'avanguardia si basano tipicamente su rappresentazioni a griglia per memorizzare caratteristiche neurali locali e su kernel lineari N-dimensionali per interpolare le caratteristiche in punti di query continui. Le posizioni spaziali delle loro caratteristiche neurali sono fissate sui nodi della griglia e non possono adattarsi bene ai segnali target. Il nostro metodo, invece, si basa su basi radiali generali con posizione e forma flessibili del kernel, che hanno una maggiore adattabilità spaziale e possono adattarsi più strettamente ai segnali target. Per migliorare ulteriormente la capacità canale per canale delle funzioni di base radiale, proponiamo di comporle con funzioni sinusoidali multifrequenza. Questa tecnica estende una base radiale a più basi radiali di Fourier di diverse bande di frequenza senza richiedere parametri aggiuntivi, facilitando la rappresentazione dei dettagli. Inoltre, unendo basi radiali adattative a quelle basate su griglia, la nostra combinazione ibrida eredita sia l'adattabilità che la scorrevolezza dell'interpolazione. Abbiamo progettato con attenzione schemi di ponderazione per consentire alle basi radiali di adattarsi efficacemente a diversi tipi di segnali. I nostri esperimenti sulla rappresentazione di immagini 2D e campi di distanza con segno 3D dimostrano la maggiore accuratezza e compattezza del nostro metodo rispetto alle tecniche precedenti. Quando applicato alla ricostruzione di campi di radianza neurale, il nostro metodo raggiunge una qualità di rendering all'avanguardia, con dimensioni ridotte del modello e velocità di addestramento comparabile.

English

We present a novel type of neural fields that uses general radial bases for signal representation. State-of-the-art neural fields typically rely on grid-based representations for storing local neural features and N-dimensional linear kernels for interpolating features at continuous query points. The spatial positions of their neural features are fixed on grid nodes and cannot well adapt to target signals. Our method instead builds upon general radial bases with flexible kernel position and shape, which have higher spatial adaptivity and can more closely fit target signals. To further improve the channel-wise capacity of radial basis functions, we propose to compose them with multi-frequency sinusoid functions. This technique extends a radial basis to multiple Fourier radial bases of different frequency bands without requiring extra parameters, facilitating the representation of details. Moreover, by marrying adaptive radial bases with grid-based ones, our hybrid combination inherits both adaptivity and interpolation smoothness. We carefully designed weighting schemes to let radial bases adapt to different types of signals effectively. Our experiments on 2D image and 3D signed distance field representation demonstrate the higher accuracy and compactness of our method than prior arts. When applied to neural radiance field reconstruction, our method achieves state-of-the-art rendering quality, with small model size and comparable training speed.