FAN: Fourier-Analyse-Netzwerke

FAN: Fourier Analysis Networks

October 3, 2024

Autoren: Yihong Dong, Ge Li, Yongding Tao, Xue Jiang, Kechi Zhang, Jia Li, Jing Su, Jun Zhang, Jingjing Xu

cs.AI

Zusammenfassung

Trotz des bemerkenswerten Erfolgs, den neuronale Netzwerke, insbesondere solche, die durch MLP und Transformer repräsentiert werden, erzielt haben, zeigen wir auf, dass sie potenzielle Schwächen beim Modellieren und Schlussfolgern von Periodizität aufweisen, d. h. sie neigen dazu, die periodischen Daten auswendig zu lernen, anstatt die zugrunde liegenden Prinzipien der Periodizität wirklich zu verstehen. Periodizität ist jedoch ein entscheidendes Merkmal bei verschiedenen Formen des Schlussfolgerns und der Verallgemeinerung, das die Vorhersagbarkeit in natürlichen und konstruierten Systemen durch wiederkehrende Muster in Beobachtungen unterstützt. In diesem Papier schlagen wir FAN vor, eine neuartige Netzwerkarchitektur basierend auf Fourier-Analyse, die die Fähigkeit stärkt, periodische Phänomene effizient zu modellieren und darüber zu schlussfolgern. Durch die Einführung von Fourier-Reihen wird die Periodizität natürlicherweise in die Struktur und die Rechenprozesse des neuronalen Netzwerks integriert, wodurch eine genauere Darstellung und Vorhersage periodischer Muster erreicht wird. Als vielversprechende Alternative zum mehrschichtigen Perzeptron (MLP) kann FAN nahtlos MLP in verschiedenen Modellen mit weniger Parametern und FLOPs ersetzen. Durch umfangreiche Experimente zeigen wir die Wirksamkeit von FAN beim Modellieren und Schlussfolgern über periodische Funktionen sowie die Überlegenheit und Verallgemeinerbarkeit von FAN über eine Reihe von realen Aufgaben, einschließlich der Darstellung symbolischer Formeln, der Vorhersage von Zeitreihen und dem Sprachmodellieren.

English

Despite the remarkable success achieved by neural networks, particularly those represented by MLP and Transformer, we reveal that they exhibit potential flaws in the modeling and reasoning of periodicity, i.e., they tend to memorize the periodic data rather than genuinely understanding the underlying principles of periodicity. However, periodicity is a crucial trait in various forms of reasoning and generalization, underpinning predictability across natural and engineered systems through recurring patterns in observations. In this paper, we propose FAN, a novel network architecture based on Fourier Analysis, which empowers the ability to efficiently model and reason about periodic phenomena. By introducing Fourier Series, the periodicity is naturally integrated into the structure and computational processes of the neural network, thus achieving a more accurate expression and prediction of periodic patterns. As a promising substitute to multi-layer perceptron (MLP), FAN can seamlessly replace MLP in various models with fewer parameters and FLOPs. Through extensive experiments, we demonstrate the effectiveness of FAN in modeling and reasoning about periodic functions, and the superiority and generalizability of FAN across a range of real-world tasks, including symbolic formula representation, time series forecasting, and language modeling.