FAN: 푸리에 분석 네트워크

FAN: Fourier Analysis Networks

October 3, 2024

저자: Yihong Dong, Ge Li, Yongding Tao, Xue Jiang, Kechi Zhang, Jia Li, Jing Su, Jun Zhang, Jingjing Xu

cs.AI

초록

신경망이 이룬 놀라운 성공에도 불구하고, 특히 MLP와 Transformer로 표현되는 신경망들은 주기성의 모델링과 추론에서 잠재적인 결함을 보여주며, 주기적 데이터를 단순히 기억하는 대신 주기성의 기본 원리를 실제로 이해하지 못하는 경향이 있다는 것을 밝혀냅니다. 그러나 주기성은 자연 및 공학 시스템 전반에 걸쳐 예측 가능성을 뒷받침하는 다양한 형태의 추론과 일반화에 있어서 중요한 특성입니다. 본 논문에서는 푸리에 분석을 기반으로 한 새로운 네트워크 구조인 FAN을 제안합니다. 이를 통해 주기적 현상에 대해 효율적으로 모델링하고 추론할 수 있는 능력을 부여합니다. 푸리에 급수를 도입함으로써 주기성이 신경망의 구조와 계산 과정에 자연스럽게 통합되어 주기적 패턴의 더 정확한 표현과 예측을 이룰 수 있습니다. MLP의 유망한 대안으로, FAN은 더 적은 매개변수와 FLOP을 가진 다양한 모델에서 MLP를 원활하게 대체할 수 있습니다. 다양한 실험을 통해, FAN이 주기 함수에 대한 모델링과 추론에서의 효과적임을 입증하고, 상징적 공식 표현, 시계열 예측, 언어 모델링을 포함한 다양한 실제 과제 범위에서 FAN의 우수성과 일반화 능력을 보여줍니다.

English

Despite the remarkable success achieved by neural networks, particularly those represented by MLP and Transformer, we reveal that they exhibit potential flaws in the modeling and reasoning of periodicity, i.e., they tend to memorize the periodic data rather than genuinely understanding the underlying principles of periodicity. However, periodicity is a crucial trait in various forms of reasoning and generalization, underpinning predictability across natural and engineered systems through recurring patterns in observations. In this paper, we propose FAN, a novel network architecture based on Fourier Analysis, which empowers the ability to efficiently model and reason about periodic phenomena. By introducing Fourier Series, the periodicity is naturally integrated into the structure and computational processes of the neural network, thus achieving a more accurate expression and prediction of periodic patterns. As a promising substitute to multi-layer perceptron (MLP), FAN can seamlessly replace MLP in various models with fewer parameters and FLOPs. Through extensive experiments, we demonstrate the effectiveness of FAN in modeling and reasoning about periodic functions, and the superiority and generalizability of FAN across a range of real-world tasks, including symbolic formula representation, time series forecasting, and language modeling.