Ativação Aprendível de Camada Única para Representação Neural Implícita (SL^{2}A-INR)

Single-Layer Learnable Activation for Implicit Neural Representation (SL^{2}A-INR)

September 17, 2024

Autores: Moein Heidari, Reza Rezaeian, Reza Azad, Dorit Merhof, Hamid Soltanian-Zadeh, Ilker Hacihaliloglu

cs.AI

Resumo

A Representação Neural Implícita (RNI), aproveitando uma rede neural para transformar a entrada de coordenadas em atributos correspondentes, tem impulsionado recentemente avanços significativos em diversos domínios relacionados à visão. No entanto, o desempenho da RNI é fortemente influenciado pela escolha da função de ativação não linear utilizada em sua arquitetura de perceptron multicamadas (MLP). Diversas não linearidades têm sido investigadas; no entanto, as RNIs atuais enfrentam limitações na captura de componentes de alta frequência, tipos de sinal diversos e na resolução de problemas inversos. Identificamos que esses problemas podem ser grandemente aliviados ao introduzir uma mudança de paradigma nas RNIs. Descobrimos que uma arquitetura com ativações aprendíveis nas camadas iniciais pode representar detalhes finos nos sinais subjacentes. Especificamente, propomos SL^{2}A-RNI, uma rede híbrida para RNI com uma função de ativação aprendível de camada única, promovendo a eficácia dos MLPs baseados em ReLU tradicionais. Nosso método apresenta desempenho superior em diversas tarefas, incluindo representação de imagens, reconstruções de formas 3D, inpainting, super-resolução de imagens únicas, reconstrução de TC e síntese de novas visualizações. Através de experimentos abrangentes, o SL^{2}A-RNI estabelece novos benchmarks em precisão, qualidade e taxas de convergência para RNIs.

English

Implicit Neural Representation (INR), leveraging a neural network to transform coordinate input into corresponding attributes, has recently driven significant advances in several vision-related domains. However, the performance of INR is heavily influenced by the choice of the nonlinear activation function used in its multilayer perceptron (MLP) architecture. Multiple nonlinearities have been investigated; yet, current INRs face limitations in capturing high-frequency components, diverse signal types, and handling inverse problems. We have identified that these problems can be greatly alleviated by introducing a paradigm shift in INRs. We find that an architecture with learnable activations in initial layers can represent fine details in the underlying signals. Specifically, we propose SL^{2}A-INR, a hybrid network for INR with a single-layer learnable activation function, prompting the effectiveness of traditional ReLU-based MLPs. Our method performs superior across diverse tasks, including image representation, 3D shape reconstructions, inpainting, single image super-resolution, CT reconstruction, and novel view synthesis. Through comprehensive experiments, SL^{2}A-INR sets new benchmarks in accuracy, quality, and convergence rates for INR.