NeuRBF: Een Neural Fields Representatie met Adaptieve Radiale Basisfuncties

NeuRBF: A Neural Fields Representation with Adaptive Radial Basis Functions

September 27, 2023

Auteurs: Zhang Chen, Zhong Li, Liangchen Song, Lele Chen, Jingyi Yu, Junsong Yuan, Yi Xu

cs.AI

Samenvatting

We presenteren een nieuw type neurale velden dat gebruikmaakt van algemene radiale basisfuncties voor signaalrepresentatie. State-of-the-art neurale velden vertrouwen doorgaans op rastergebaseerde representaties voor het opslaan van lokale neurale kenmerken en N-dimensionale lineaire kernels voor het interpoleren van kenmerken op continue querypunten. De ruimtelijke posities van hun neurale kenmerken zijn vastgelegd op rasterknooppunten en kunnen zich niet goed aanpassen aan doelsignalen. Onze methode bouwt daarentegen voort op algemene radiale basisfuncties met flexibele kernelposities en -vormen, die een hogere ruimtelijke aanpassingsvermogen hebben en doelsignalen nauwkeuriger kunnen benaderen. Om de kanaalgewijze capaciteit van radiale basisfuncties verder te verbeteren, stellen we voor om ze te combineren met multifrequente sinusfuncties. Deze techniek breidt een radiale basisfunctie uit naar meerdere Fourier-radiale basisfuncties van verschillende frequentiebanden zonder extra parameters te vereisen, wat de representatie van details vergemakkelijkt. Bovendien erft onze hybride combinatie, door adaptieve radiale basisfuncties te combineren met rastergebaseerde, zowel aanpassingsvermogen als interpolatiegladheid. We hebben zorgvuldig gewichtingsschema's ontworpen om radiale basisfuncties effectief te laten aanpassen aan verschillende soorten signalen. Onze experimenten met 2D-beeld- en 3D-ondertekende afstandsveldrepresentatie demonstreren de hogere nauwkeurigheid en compactheid van onze methode in vergelijking met eerdere technieken. Wanneer toegepast op neurale stralingsveldreconstructie, bereikt onze methode state-of-the-art renderkwaliteit, met een klein modelformaat en vergelijkbare trainingssnelheid.

English

We present a novel type of neural fields that uses general radial bases for signal representation. State-of-the-art neural fields typically rely on grid-based representations for storing local neural features and N-dimensional linear kernels for interpolating features at continuous query points. The spatial positions of their neural features are fixed on grid nodes and cannot well adapt to target signals. Our method instead builds upon general radial bases with flexible kernel position and shape, which have higher spatial adaptivity and can more closely fit target signals. To further improve the channel-wise capacity of radial basis functions, we propose to compose them with multi-frequency sinusoid functions. This technique extends a radial basis to multiple Fourier radial bases of different frequency bands without requiring extra parameters, facilitating the representation of details. Moreover, by marrying adaptive radial bases with grid-based ones, our hybrid combination inherits both adaptivity and interpolation smoothness. We carefully designed weighting schemes to let radial bases adapt to different types of signals effectively. Our experiments on 2D image and 3D signed distance field representation demonstrate the higher accuracy and compactness of our method than prior arts. When applied to neural radiance field reconstruction, our method achieves state-of-the-art rendering quality, with small model size and comparable training speed.