NeuRBF: Una Representación de Campos Neuronales con Funciones de Base Radial Adaptativa

NeuRBF: A Neural Fields Representation with Adaptive Radial Basis Functions

September 27, 2023

Autores: Zhang Chen, Zhong Li, Liangchen Song, Lele Chen, Jingyi Yu, Junsong Yuan, Yi Xu

cs.AI

Resumen

Presentamos un nuevo tipo de campos neuronales que utiliza bases radiales generales para la representación de señales. Los campos neuronales de vanguardia suelen basarse en representaciones basadas en cuadrículas para almacenar características neuronales locales y núcleos lineales N-dimensionales para interpolar características en puntos de consulta continuos. Las posiciones espaciales de sus características neuronales están fijas en los nodos de la cuadrícula y no pueden adaptarse bien a las señales objetivo. Nuestro método, en cambio, se basa en bases radiales generales con posición y forma de núcleo flexibles, que tienen una mayor adaptabilidad espacial y pueden ajustarse más estrechamente a las señales objetivo. Para mejorar aún más la capacidad por canal de las funciones de base radial, proponemos componerlas con funciones sinusoidales multifrecuencia. Esta técnica extiende una base radial a múltiples bases radiales de Fourier de diferentes bandas de frecuencia sin requerir parámetros adicionales, facilitando la representación de detalles. Además, al combinar bases radiales adaptativas con las basadas en cuadrículas, nuestra combinación híbrida hereda tanto la adaptabilidad como la suavidad de la interpolación. Diseñamos cuidadosamente esquemas de ponderación para permitir que las bases radiales se adapten eficazmente a diferentes tipos de señales. Nuestros experimentos en la representación de imágenes 2D y campos de distancia con signo 3D demuestran la mayor precisión y compacidad de nuestro método en comparación con técnicas anteriores. Cuando se aplica a la reconstrucción de campos de radiancia neuronal, nuestro método alcanza una calidad de renderizado de vanguardia, con un tamaño de modelo reducido y una velocidad de entrenamiento comparable.

English

We present a novel type of neural fields that uses general radial bases for signal representation. State-of-the-art neural fields typically rely on grid-based representations for storing local neural features and N-dimensional linear kernels for interpolating features at continuous query points. The spatial positions of their neural features are fixed on grid nodes and cannot well adapt to target signals. Our method instead builds upon general radial bases with flexible kernel position and shape, which have higher spatial adaptivity and can more closely fit target signals. To further improve the channel-wise capacity of radial basis functions, we propose to compose them with multi-frequency sinusoid functions. This technique extends a radial basis to multiple Fourier radial bases of different frequency bands without requiring extra parameters, facilitating the representation of details. Moreover, by marrying adaptive radial bases with grid-based ones, our hybrid combination inherits both adaptivity and interpolation smoothness. We carefully designed weighting schemes to let radial bases adapt to different types of signals effectively. Our experiments on 2D image and 3D signed distance field representation demonstrate the higher accuracy and compactness of our method than prior arts. When applied to neural radiance field reconstruction, our method achieves state-of-the-art rendering quality, with small model size and comparable training speed.