FAN: Redes de Análisis de Fourier

FAN: Fourier Analysis Networks

October 3, 2024

Autores: Yihong Dong, Ge Li, Yongding Tao, Xue Jiang, Kechi Zhang, Jia Li, Jing Su, Jun Zhang, Jingjing Xu

cs.AI

Resumen

A pesar del notable éxito logrado por las redes neuronales, especialmente aquellas representadas por MLP y Transformer, revelamos que presentan posibles fallos en la modelización y razonamiento de la periodicidad, es decir, tienden a memorizar los datos periódicos en lugar de comprender genuinamente los principios subyacentes de la periodicidad. Sin embargo, la periodicidad es una característica crucial en diversas formas de razonamiento y generalización, sustentando la previsibilidad en sistemas naturales y artificiales a través de patrones recurrentes en observaciones. En este artículo, proponemos FAN, una arquitectura de red novedosa basada en Análisis de Fourier, que potencia la capacidad de modelar y razonar eficientemente sobre fenómenos periódicos. Al introducir Series de Fourier, la periodicidad se integra de forma natural en la estructura y procesos computacionales de la red neuronal, logrando así una expresión y predicción más precisa de patrones periódicos. Como un sustituto prometedor para el perceptrón multicapa (MLP), FAN puede reemplazar MLP de manera fluida en diversos modelos con menos parámetros y FLOPs. A través de experimentos extensos, demostramos la efectividad de FAN en la modelización y razonamiento sobre funciones periódicas, así como la superioridad y generalizabilidad de FAN en una variedad de tareas del mundo real, incluyendo la representación de fórmulas simbólicas, la predicción de series temporales y el modelado de lenguaje.

English

Despite the remarkable success achieved by neural networks, particularly those represented by MLP and Transformer, we reveal that they exhibit potential flaws in the modeling and reasoning of periodicity, i.e., they tend to memorize the periodic data rather than genuinely understanding the underlying principles of periodicity. However, periodicity is a crucial trait in various forms of reasoning and generalization, underpinning predictability across natural and engineered systems through recurring patterns in observations. In this paper, we propose FAN, a novel network architecture based on Fourier Analysis, which empowers the ability to efficiently model and reason about periodic phenomena. By introducing Fourier Series, the periodicity is naturally integrated into the structure and computational processes of the neural network, thus achieving a more accurate expression and prediction of periodic patterns. As a promising substitute to multi-layer perceptron (MLP), FAN can seamlessly replace MLP in various models with fewer parameters and FLOPs. Through extensive experiments, we demonstrate the effectiveness of FAN in modeling and reasoning about periodic functions, and the superiority and generalizability of FAN across a range of real-world tasks, including symbolic formula representation, time series forecasting, and language modeling.