FAN: Redes de Análise de Fourier

FAN: Fourier Analysis Networks

October 3, 2024

Autores: Yihong Dong, Ge Li, Yongding Tao, Xue Jiang, Kechi Zhang, Jia Li, Jing Su, Jun Zhang, Jingjing Xu

cs.AI

Resumo

Apesar do notável sucesso alcançado pelas redes neurais, particularmente aquelas representadas por MLP e Transformer, revelamos que elas apresentam falhas potenciais na modelagem e raciocínio da periodicidade, ou seja, tendem a memorizar os dados periódicos em vez de compreender genuinamente os princípios subjacentes da periodicidade. No entanto, a periodicidade é uma característica crucial em várias formas de raciocínio e generalização, sustentando a previsibilidade em sistemas naturais e projetados por meio de padrões recorrentes nas observações. Neste artigo, propomos FAN, uma arquitetura de rede neural inovadora baseada em Análise de Fourier, que capacita a capacidade de modelar e raciocinar eficientemente sobre fenômenos periódicos. Ao introduzir a Série de Fourier, a periodicidade é integrada naturalmente na estrutura e nos processos computacionais da rede neural, alcançando assim uma expressão e previsão mais precisas de padrões periódicos. Como uma promissora substituta para a multi-camada perceptron (MLP), FAN pode substituir MLP de forma contínua em vários modelos com menos parâmetros e FLOPs. Através de experimentos extensivos, demonstramos a eficácia de FAN na modelagem e raciocínio sobre funções periódicas, bem como a superioridade e generalizabilidade de FAN em uma variedade de tarefas do mundo real, incluindo representação de fórmulas simbólicas, previsão de séries temporais e modelagem de linguagem.

English

Despite the remarkable success achieved by neural networks, particularly those represented by MLP and Transformer, we reveal that they exhibit potential flaws in the modeling and reasoning of periodicity, i.e., they tend to memorize the periodic data rather than genuinely understanding the underlying principles of periodicity. However, periodicity is a crucial trait in various forms of reasoning and generalization, underpinning predictability across natural and engineered systems through recurring patterns in observations. In this paper, we propose FAN, a novel network architecture based on Fourier Analysis, which empowers the ability to efficiently model and reason about periodic phenomena. By introducing Fourier Series, the periodicity is naturally integrated into the structure and computational processes of the neural network, thus achieving a more accurate expression and prediction of periodic patterns. As a promising substitute to multi-layer perceptron (MLP), FAN can seamlessly replace MLP in various models with fewer parameters and FLOPs. Through extensive experiments, we demonstrate the effectiveness of FAN in modeling and reasoning about periodic functions, and the superiority and generalizability of FAN across a range of real-world tasks, including symbolic formula representation, time series forecasting, and language modeling.