RDF : Réseaux d'Analyse de Fourier

FAN: Fourier Analysis Networks

October 3, 2024

Auteurs: Yihong Dong, Ge Li, Yongding Tao, Xue Jiang, Kechi Zhang, Jia Li, Jing Su, Jun Zhang, Jingjing Xu

cs.AI

Résumé

Malgré le remarquable succès obtenu par les réseaux neuronaux, en particulier ceux représentés par MLP et Transformer, nous révélons qu'ils présentent des défauts potentiels dans la modélisation et le raisonnement de la périodicité, c'est-à-dire qu'ils ont tendance à mémoriser les données périodiques plutôt que de comprendre véritablement les principes sous-jacents de la périodicité. Cependant, la périodicité est une caractéristique cruciale dans diverses formes de raisonnement et de généralisation, soutenant la prévisibilité à travers des systèmes naturels et artificiels grâce à des motifs récurrents dans les observations. Dans cet article, nous proposons FAN, une nouvelle architecture de réseau basée sur l'Analyse de Fourier, qui renforce la capacité de modéliser et de raisonner efficacement sur les phénomènes périodiques. En introduisant les Séries de Fourier, la périodicité est naturellement intégrée dans la structure et les processus computationnels du réseau neuronal, permettant ainsi une expression et une prédiction plus précises des motifs périodiques. En tant qu'alternative prometteuse au perceptron multi-couches (MLP), FAN peut remplacer MLP de manière transparente dans divers modèles avec moins de paramètres et de FLOPs. À travers des expériences approfondies, nous démontrons l'efficacité de FAN dans la modélisation et le raisonnement sur les fonctions périodiques, ainsi que la supériorité et la généralisabilité de FAN à travers une gamme de tâches du monde réel, y compris la représentation de formules symboliques, la prévision de séries temporelles et la modélisation de langage.

English

Despite the remarkable success achieved by neural networks, particularly those represented by MLP and Transformer, we reveal that they exhibit potential flaws in the modeling and reasoning of periodicity, i.e., they tend to memorize the periodic data rather than genuinely understanding the underlying principles of periodicity. However, periodicity is a crucial trait in various forms of reasoning and generalization, underpinning predictability across natural and engineered systems through recurring patterns in observations. In this paper, we propose FAN, a novel network architecture based on Fourier Analysis, which empowers the ability to efficiently model and reason about periodic phenomena. By introducing Fourier Series, the periodicity is naturally integrated into the structure and computational processes of the neural network, thus achieving a more accurate expression and prediction of periodic patterns. As a promising substitute to multi-layer perceptron (MLP), FAN can seamlessly replace MLP in various models with fewer parameters and FLOPs. Through extensive experiments, we demonstrate the effectiveness of FAN in modeling and reasoning about periodic functions, and the superiority and generalizability of FAN across a range of real-world tasks, including symbolic formula representation, time series forecasting, and language modeling.