Неявные нейронные представления сетей Фурье-Колмогорова-Арнольда.

Implicit Neural Representations with Fourier Kolmogorov-Arnold Networks

September 14, 2024

Авторы: Ali Mehrabian, Parsa Mojarad Adi, Moein Heidari, Ilker Hacihaliloglu

cs.AI

Аннотация

Неявные нейронные представления (INR) используют нейронные сети для обеспечения непрерывных и независимых от разрешения представлений сложных сигналов с небольшим количеством параметров. Однако существующие модели INR часто не удается захватить важные частотные компоненты, специфичные для каждой задачи. Для решения этой проблемы в данной статье мы предлагаем сеть Фурье-Колмогорова-Арнольда (FKAN) для INR. Предложенная FKAN использует обучаемые функции активации, моделируемые в виде рядов Фурье в первом слое, чтобы эффективно контролировать и изучать частотные компоненты, специфичные для задачи. Кроме того, функции активации с обучаемыми коэффициентами Фурье улучшают способность сети захватывать сложные узоры и детали, что полезно для данных высокого разрешения и высокой размерности. Экспериментальные результаты показывают, что наша предложенная модель FKAN превосходит три современных базовых схемы и улучшает отношение сигнал-шум (PSNR) и структурный индекс сходства (SSIM) для задачи представления изображения, а также пересечение по объединению (IoU) для задачи представления объема 3D-занятости, соответственно.

English

Implicit neural representations (INRs) use neural networks to provide continuous and resolution-independent representations of complex signals with a small number of parameters. However, existing INR models often fail to capture important frequency components specific to each task. To address this issue, in this paper, we propose a Fourier Kolmogorov Arnold network (FKAN) for INRs. The proposed FKAN utilizes learnable activation functions modeled as Fourier series in the first layer to effectively control and learn the task-specific frequency components. In addition, the activation functions with learnable Fourier coefficients improve the ability of the network to capture complex patterns and details, which is beneficial for high-resolution and high-dimensional data. Experimental results show that our proposed FKAN model outperforms three state-of-the-art baseline schemes, and improves the peak signal-to-noise ratio (PSNR) and structural similarity index measure (SSIM) for the image representation task and intersection over union (IoU) for the 3D occupancy volume representation task, respectively.