Implizite neuronale Darstellungen mit Fourier-Kolmogorov-Arnold-Netzwerken

Implicit Neural Representations with Fourier Kolmogorov-Arnold Networks

September 14, 2024

Autoren: Ali Mehrabian, Parsa Mojarad Adi, Moein Heidari, Ilker Hacihaliloglu

cs.AI

Zusammenfassung

Implizite neuronale Repräsentationen (INRs) verwenden neuronale Netzwerke, um kontinuierliche und auflösungsunabhängige Repräsentationen komplexer Signale mit einer geringen Anzahl von Parametern bereitzustellen. Allerdings gelingt es bestehenden INR-Modellen oft nicht, wichtige Frequenzkomponenten zu erfassen, die spezifisch für jede Aufgabe sind. Um dieses Problem zu lösen, schlagen wir in diesem Papier ein Fourier-Kolmogorov-Arnold-Netzwerk (FKAN) für INRs vor. Das vorgeschlagene FKAN verwendet erlernbare Aktivierungsfunktionen, die als Fourier-Reihen im ersten Layer modelliert sind, um effektiv die frequenzspezifischen Komponenten der Aufgabe zu steuern und zu erlernen. Darüber hinaus verbessern die Aktivierungsfunktionen mit erlernbaren Fourier-Koeffizienten die Fähigkeit des Netzwerks, komplexe Muster und Details zu erfassen, was für hochauflösende und hochdimensionale Daten vorteilhaft ist. Experimentelle Ergebnisse zeigen, dass unser vorgeschlagenes FKAN-Modell drei state-of-the-art Basisschemata übertrifft und den Spitzen-Signal-Rausch-Verhältnis (PSNR) und den strukturellen Ähnlichkeitsindex (SSIM) für die Bildrepräsentationsaufgabe sowie das Schnitt-über-Union (IoU) für die 3D-Belegungsvolumenrepräsentationsaufgabe verbessert.

English

Implicit neural representations (INRs) use neural networks to provide continuous and resolution-independent representations of complex signals with a small number of parameters. However, existing INR models often fail to capture important frequency components specific to each task. To address this issue, in this paper, we propose a Fourier Kolmogorov Arnold network (FKAN) for INRs. The proposed FKAN utilizes learnable activation functions modeled as Fourier series in the first layer to effectively control and learn the task-specific frequency components. In addition, the activation functions with learnable Fourier coefficients improve the ability of the network to capture complex patterns and details, which is beneficial for high-resolution and high-dimensional data. Experimental results show that our proposed FKAN model outperforms three state-of-the-art baseline schemes, and improves the peak signal-to-noise ratio (PSNR) and structural similarity index measure (SSIM) for the image representation task and intersection over union (IoU) for the 3D occupancy volume representation task, respectively.