FAN: Reti di Analisi di Fourier

FAN: Fourier Analysis Networks

October 3, 2024

Autori: Yihong Dong, Ge Li, Yongding Tao, Xue Jiang, Kechi Zhang, Jia Li, Jing Su, Jun Zhang, Jingjing Xu

cs.AI

Abstract

Nonostante il notevole successo ottenuto dalle reti neurali, in particolare quelle rappresentate da MLP e Transformer, riveliamo che esse presentano potenziali difetti nella modellazione e nell'analisi della periodicità, cioè tendono a memorizzare i dati periodici piuttosto che comprendere genuinamente i principi sottostanti della periodicità. Tuttavia, la periodicità è un tratto cruciale in varie forme di ragionamento e generalizzazione, sottendendo la prevedibilità attraverso modelli ricorrenti nelle osservazioni di sistemi naturali ed artificiali. In questo articolo, proponiamo FAN, una nuova architettura di rete basata sull'Analisi di Fourier, che potenzia la capacità di modellare ed analizzare fenomeni periodici in modo efficiente. Introducendo le Serie di Fourier, la periodicità è integrata in modo naturale nella struttura e nei processi computazionali della rete neurale, ottenendo così un'espressione e una previsione più accurate dei modelli periodici. Come promettente sostituto del multi-layer perceptron (MLP), FAN può sostituire agevolmente MLP in vari modelli con meno parametri e FLOPs. Attraverso estesi esperimenti, dimostriamo l'efficacia di FAN nella modellazione e nell'analisi delle funzioni periodiche, nonché la superiorità e la generalizzabilità di FAN in una serie di compiti del mondo reale, inclusa la rappresentazione di formule simboliche, la previsione delle serie temporali e la modellazione del linguaggio.

English

Despite the remarkable success achieved by neural networks, particularly those represented by MLP and Transformer, we reveal that they exhibit potential flaws in the modeling and reasoning of periodicity, i.e., they tend to memorize the periodic data rather than genuinely understanding the underlying principles of periodicity. However, periodicity is a crucial trait in various forms of reasoning and generalization, underpinning predictability across natural and engineered systems through recurring patterns in observations. In this paper, we propose FAN, a novel network architecture based on Fourier Analysis, which empowers the ability to efficiently model and reason about periodic phenomena. By introducing Fourier Series, the periodicity is naturally integrated into the structure and computational processes of the neural network, thus achieving a more accurate expression and prediction of periodic patterns. As a promising substitute to multi-layer perceptron (MLP), FAN can seamlessly replace MLP in various models with fewer parameters and FLOPs. Through extensive experiments, we demonstrate the effectiveness of FAN in modeling and reasoning about periodic functions, and the superiority and generalizability of FAN across a range of real-world tasks, including symbolic formula representation, time series forecasting, and language modeling.