FAN: フーリエ解析ネットワーク

要旨

ニューラルネットワーク、特にMLPとTransformerによって表現されるものが達成した顕著な成功にもかかわらず、周期性のモデリングと推論において潜在的な欠陥を示すことを明らかにします。つまり、周期データを本当に理解するのではなく、記憶する傾向があるということです。しかし、周期性は、自然および工学システム全体で予測可能性を支える観察の繰り返しパターンを通じて、さまざまな形式の推論や一般化において重要な特性です。本論文では、Fourier解析に基づく新しいネットワークアーキテクチャであるFANを提案し、周期現象について効果的にモデル化および推論する能力を高めます。Fourier級数を導入することで、周期性がニューラルネットワークの構造と計算プロセスに自然に統合されるため、周期パターンのより正確な表現と予測が実現されます。MLPの有望な代替として、FANは、より少ないパラメータとFLOPsで様々なモデルでMLPをシームレスに置き換えることができます。幅広い実験を通じて、FANが周期関数のモデリングと推論においてどれほど効果的であり、記号式表現、時系列予測、言語モデリングを含むさまざまな実世界のタスクでのFANの優越性と汎用性を示します。

English

Despite the remarkable success achieved by neural networks, particularly those represented by MLP and Transformer, we reveal that they exhibit potential flaws in the modeling and reasoning of periodicity, i.e., they tend to memorize the periodic data rather than genuinely understanding the underlying principles of periodicity. However, periodicity is a crucial trait in various forms of reasoning and generalization, underpinning predictability across natural and engineered systems through recurring patterns in observations. In this paper, we propose FAN, a novel network architecture based on Fourier Analysis, which empowers the ability to efficiently model and reason about periodic phenomena. By introducing Fourier Series, the periodicity is naturally integrated into the structure and computational processes of the neural network, thus achieving a more accurate expression and prediction of periodic patterns. As a promising substitute to multi-layer perceptron (MLP), FAN can seamlessly replace MLP in various models with fewer parameters and FLOPs. Through extensive experiments, we demonstrate the effectiveness of FAN in modeling and reasoning about periodic functions, and the superiority and generalizability of FAN across a range of real-world tasks, including symbolic formula representation, time series forecasting, and language modeling.

FAN: フーリエ解析ネットワーク

FAN: Fourier Analysis Networks

要旨

Summary

Support

Support