フーリエ・コルモゴロフ・アーノルド・ネットワークを用いた暗黙的ニューラル表現

Implicit Neural Representations with Fourier Kolmogorov-Arnold Networks

September 14, 2024

著者: Ali Mehrabian, Parsa Mojarad Adi, Moein Heidari, Ilker Hacihaliloglu

cs.AI

要旨

暗黙のニューラル表現（INRs）は、ニューラルネットワークを使用して、少数のパラメータで複雑な信号の連続かつ解像度に依存しない表現を提供します。ただし、既存のINRモデルは、各タスク固有の重要な周波数成分を捉えることができないことがよくあります。この問題に対処するため、本論文では、INRs向けのフーリエ・コルモゴロフ・アーノルド・ネットワーク（FKAN）を提案します。提案されたFKANは、最初の層でフーリエ級数としてモデル化された学習可能な活性化関数を使用して、効果的にタスク固有の周波数成分を制御および学習します。さらに、学習可能なフーリエ係数を持つ活性化関数は、複雑なパターンや詳細を捉える能力を向上させ、高解像度および高次元データに有益です。実験結果は、提案されたFKANモデルが3つの最先端のベースラインスキームを上回り、画像表現タスクにおけるピーク信号対雑音比（PSNR）と構造類似性指標測定（SSIM）、および3D占有ボリューム表現タスクにおけるIoU（Intersection over Union）を向上させることを示しています。

English

Implicit neural representations (INRs) use neural networks to provide continuous and resolution-independent representations of complex signals with a small number of parameters. However, existing INR models often fail to capture important frequency components specific to each task. To address this issue, in this paper, we propose a Fourier Kolmogorov Arnold network (FKAN) for INRs. The proposed FKAN utilizes learnable activation functions modeled as Fourier series in the first layer to effectively control and learn the task-specific frequency components. In addition, the activation functions with learnable Fourier coefficients improve the ability of the network to capture complex patterns and details, which is beneficial for high-resolution and high-dimensional data. Experimental results show that our proposed FKAN model outperforms three state-of-the-art baseline schemes, and improves the peak signal-to-noise ratio (PSNR) and structural similarity index measure (SSIM) for the image representation task and intersection over union (IoU) for the 3D occupancy volume representation task, respectively.