FAN: Fourier Analyse Netwerken

FAN: Fourier Analysis Networks

October 3, 2024

Auteurs: Yihong Dong, Ge Li, Yongding Tao, Xue Jiang, Kechi Zhang, Jia Li, Jing Su, Jun Zhang, Jingjing Xu

cs.AI

Samenvatting

Ondanks het opmerkelijke succes dat neurale netwerken hebben behaald, met name die vertegenwoordigd door MLP en Transformer, onthullen we dat ze mogelijke tekortkomingen vertonen in het modelleren en redeneren van periodieke verschijnselen, d.w.z. ze hebben de neiging om periodieke gegevens te onthouden in plaats van de onderliggende principes van periodieke verschijnselen daadwerkelijk te begrijpen. Periodiciteit is echter een cruciale eigenschap in verschillende vormen van redenering en generalisatie, die voorspelbaarheid ondersteunt in natuurlijke en geconstrueerde systemen door terugkerende patronen in observaties. In dit artikel stellen we FAN voor, een nieuw netwerkarchitectuur gebaseerd op Fourieranalyse, die de mogelijkheid biedt om efficiënt te modelleren en te redeneren over periodieke verschijnselen. Door Fourierreeksen te introduceren, wordt de periodieke aard op een natuurlijke wijze geïntegreerd in de structuur en computationele processen van het neurale netwerk, waardoor een nauwkeurigere expressie en voorspelling van periodieke patronen wordt bereikt. Als veelbelovend alternatief voor multi-layer perceptron (MLP) kan FAN naadloos MLP vervangen in verschillende modellen met minder parameters en FLOPs. Door uitgebreide experimenten tonen we de effectiviteit van FAN aan in het modelleren en redeneren over periodieke functies, en de superioriteit en generaliseerbaarheid van FAN over een reeks real-world taken, waaronder symbolische formuleweergave, tijdreeksvoorspelling en taalmodellering.

English

Despite the remarkable success achieved by neural networks, particularly those represented by MLP and Transformer, we reveal that they exhibit potential flaws in the modeling and reasoning of periodicity, i.e., they tend to memorize the periodic data rather than genuinely understanding the underlying principles of periodicity. However, periodicity is a crucial trait in various forms of reasoning and generalization, underpinning predictability across natural and engineered systems through recurring patterns in observations. In this paper, we propose FAN, a novel network architecture based on Fourier Analysis, which empowers the ability to efficiently model and reason about periodic phenomena. By introducing Fourier Series, the periodicity is naturally integrated into the structure and computational processes of the neural network, thus achieving a more accurate expression and prediction of periodic patterns. As a promising substitute to multi-layer perceptron (MLP), FAN can seamlessly replace MLP in various models with fewer parameters and FLOPs. Through extensive experiments, we demonstrate the effectiveness of FAN in modeling and reasoning about periodic functions, and the superiority and generalizability of FAN across a range of real-world tasks, including symbolic formula representation, time series forecasting, and language modeling.