NeuRBF: Uma Representação de Campos Neurais com Funções de Base Radial Adaptativas

NeuRBF: A Neural Fields Representation with Adaptive Radial Basis Functions

September 27, 2023

Autores: Zhang Chen, Zhong Li, Liangchen Song, Lele Chen, Jingyi Yu, Junsong Yuan, Yi Xu

cs.AI

Resumo

Apresentamos um novo tipo de campos neurais que utiliza bases radiais gerais para representação de sinais. Os campos neurais de última geração normalmente dependem de representações baseadas em grades para armazenar características neurais locais e kernels lineares N-dimensionais para interpolar características em pontos de consulta contínuos. As posições espaciais de suas características neurais são fixas em nós de grade e não conseguem se adaptar bem aos sinais alvo. Nosso método, em vez disso, é baseado em bases radiais gerais com posição e forma flexíveis do kernel, que possuem maior adaptabilidade espacial e podem se ajustar mais precisamente aos sinais alvo. Para melhorar ainda mais a capacidade canal por canal das funções de base radial, propomos compô-las com funções senoidais de múltiplas frequências. Essa técnica estende uma base radial para múltiplas bases radiais de Fourier de diferentes bandas de frequência sem exigir parâmetros extras, facilitando a representação de detalhes. Além disso, ao combinar bases radiais adaptativas com as baseadas em grade, nossa combinação híbrida herda tanto a adaptabilidade quanto a suavidade de interpolação. Projetamos cuidadosamente esquemas de ponderação para permitir que as bases radiais se adaptem a diferentes tipos de sinais de forma eficaz. Nossos experimentos em representação de imagens 2D e campos de distância com sinalização 3D demonstram a maior precisão e compactação do nosso método em comparação com as técnicas anteriores. Quando aplicado à reconstrução de campos de radiação neural, nosso método alcança qualidade de renderização de última geração, com tamanho de modelo reduzido e velocidade de treinamento comparável.

English

We present a novel type of neural fields that uses general radial bases for signal representation. State-of-the-art neural fields typically rely on grid-based representations for storing local neural features and N-dimensional linear kernels for interpolating features at continuous query points. The spatial positions of their neural features are fixed on grid nodes and cannot well adapt to target signals. Our method instead builds upon general radial bases with flexible kernel position and shape, which have higher spatial adaptivity and can more closely fit target signals. To further improve the channel-wise capacity of radial basis functions, we propose to compose them with multi-frequency sinusoid functions. This technique extends a radial basis to multiple Fourier radial bases of different frequency bands without requiring extra parameters, facilitating the representation of details. Moreover, by marrying adaptive radial bases with grid-based ones, our hybrid combination inherits both adaptivity and interpolation smoothness. We carefully designed weighting schemes to let radial bases adapt to different types of signals effectively. Our experiments on 2D image and 3D signed distance field representation demonstrate the higher accuracy and compactness of our method than prior arts. When applied to neural radiance field reconstruction, our method achieves state-of-the-art rendering quality, with small model size and comparable training speed.