Rappresentazioni Neurali Implicite con Reti Fourier Kolmogorov-Arnold

Implicit Neural Representations with Fourier Kolmogorov-Arnold Networks

September 14, 2024

Autori: Ali Mehrabian, Parsa Mojarad Adi, Moein Heidari, Ilker Hacihaliloglu

cs.AI

Abstract

Le rappresentazioni neurali implicite (INR) utilizzano reti neurali per fornire rappresentazioni continue e indipendenti dalla risoluzione di segnali complessi con un numero ridotto di parametri. Tuttavia, i modelli INR esistenti spesso non riescono a catturare importanti componenti di frequenza specifiche per ciascun compito. Per affrontare questo problema, in questo articolo proponiamo una rete Fourier Kolmogorov Arnold (FKAN) per le INR. Il FKAN proposto utilizza funzioni di attivazione apprendibili modellate come serie di Fourier nel primo strato per controllare ed apprendere efficacemente le componenti di frequenza specifiche del compito. Inoltre, le funzioni di attivazione con coefficienti di Fourier apprendibili migliorano la capacità della rete di catturare modelli complessi e dettagli, il che è vantaggioso per dati ad alta risoluzione e ad alta dimensionalità. I risultati sperimentali mostrano che il nostro modello FKAN proposto supera tre schemi di base all'avanguardia e migliora il rapporto segnale-rumore di picco (PSNR) e l'indice di similarità strutturale (SSIM) per il compito di rappresentazione delle immagini e l'intersezione sopra l'unione (IoU) per il compito di rappresentazione del volume di occupazione 3D, rispettivamente.

English

Implicit neural representations (INRs) use neural networks to provide continuous and resolution-independent representations of complex signals with a small number of parameters. However, existing INR models often fail to capture important frequency components specific to each task. To address this issue, in this paper, we propose a Fourier Kolmogorov Arnold network (FKAN) for INRs. The proposed FKAN utilizes learnable activation functions modeled as Fourier series in the first layer to effectively control and learn the task-specific frequency components. In addition, the activation functions with learnable Fourier coefficients improve the ability of the network to capture complex patterns and details, which is beneficial for high-resolution and high-dimensional data. Experimental results show that our proposed FKAN model outperforms three state-of-the-art baseline schemes, and improves the peak signal-to-noise ratio (PSNR) and structural similarity index measure (SSIM) for the image representation task and intersection over union (IoU) for the 3D occupancy volume representation task, respectively.