Сети Фурье-анализа (FAN)

FAN: Fourier Analysis Networks

October 3, 2024

Авторы: Yihong Dong, Ge Li, Yongding Tao, Xue Jiang, Kechi Zhang, Jia Li, Jing Su, Jun Zhang, Jingjing Xu

cs.AI

Аннотация

Несмотря на замечательные успехи, достигнутые нейронными сетями, особенно теми, которые представлены MLP и Transformer, мы выявляем потенциальные недостатки в моделировании и рассуждениях о периодичности, то есть они склонны запоминать периодические данные, а не искренне понимать основные принципы периодичности. Тем не менее, периодичность является важной чертой в различных формах рассуждений и обобщений, лежащей в основе предсказуемости в натуральных и инженерных системах через повторяющиеся шаблоны в наблюдениях. В данной статье мы предлагаем FAN, новую архитектуру сети на основе анализа Фурье, которая обеспечивает способность эффективно моделировать и рассуждать о периодических явлениях. Вводя ряд Фурье, периодичность естественным образом интегрируется в структуру и вычислительные процессы нейронной сети, что позволяет достичь более точного выражения и прогнозирования периодических шаблонов. Как многообещающую замену многослойному персептрону (MLP), FAN может плавно заменить MLP в различных моделях с меньшим количеством параметров и операций с плавающей запятой. Через обширные эксперименты мы демонстрируем эффективность FAN в моделировании и рассуждениях о периодических функциях, а также превосходство и обобщаемость FAN в ряде задач реального мира, включая представление символьных формул, прогнозирование временных рядов и языковое моделирование.

English

Despite the remarkable success achieved by neural networks, particularly those represented by MLP and Transformer, we reveal that they exhibit potential flaws in the modeling and reasoning of periodicity, i.e., they tend to memorize the periodic data rather than genuinely understanding the underlying principles of periodicity. However, periodicity is a crucial trait in various forms of reasoning and generalization, underpinning predictability across natural and engineered systems through recurring patterns in observations. In this paper, we propose FAN, a novel network architecture based on Fourier Analysis, which empowers the ability to efficiently model and reason about periodic phenomena. By introducing Fourier Series, the periodicity is naturally integrated into the structure and computational processes of the neural network, thus achieving a more accurate expression and prediction of periodic patterns. As a promising substitute to multi-layer perceptron (MLP), FAN can seamlessly replace MLP in various models with fewer parameters and FLOPs. Through extensive experiments, we demonstrate the effectiveness of FAN in modeling and reasoning about periodic functions, and the superiority and generalizability of FAN across a range of real-world tasks, including symbolic formula representation, time series forecasting, and language modeling.