Dans quelle mesure les modèles linéaires peuvent-ils être performants pour la prévision de séries temporelles ?

Résumé

La recherche en prévision de séries temporelles s'est orientée régulièrement vers des architectures plus grandes, passant des transformeurs spécialisés aux modèles de base polyvalents, en partant du principe que la capacité est ce qui déverrouille la précision. Nous adoptons la position inverse : la majeure partie de l'écart peut être comblée à un coût bien moindre en optimisant le prétraitement plutôt qu'en augmentant l'échelle des modèles. Nous utilisons la régression Ridge comme banc d'essai, car elle possède une solution de forme fermée et des poids interprétables, ce qui permet de lire directement les hyperparamètres optimaux à partir de la recherche. Nous explorons la longueur du contexte, la normalisation locale, la régularisation et l'augmentation sur huit benchmarks standards et découvrons trois tendances. (1) La longueur optimale du regard en arrière est fortement spécifique à la série et souvent non monotone par rapport à l'horizon de prévision, avec des exposants de loi de puissance ajustés allant de +0,46 sur ETTm2 à -0,19 sur Exchange et Traffic, remettant en cause la convention selon laquelle des horizons plus longs nécessitent un historique plus long. (2) Normaliser sur une fraction apprise de la fin du contexte, plutôt que sur son intégralité, est presque universellement préféré. (3) Les séries au sein d'un même ensemble de données divergent souvent sur les hyperparamètres ; le degré optimal de partage entre séries varie de complètement partagé à complètement par série. Les modèles résultants surpassent les prévisionnistes linéaires antérieurs sur la plupart des entrées ensemble de données-horizon et dépassent les lignes de base des transformeurs, MLP et CNN sur six des huit benchmarks. Les hyperparamètres optimisés servent également de diagnostic sur les données elles-mêmes, révélant des structures que les modèles plus grands absorbent silencieusement dans leurs paramètres appris.

English

Time-series forecasting research has been moving steadily toward larger architectures, from specialized transformers to general-purpose foundation models, on the assumption that capacity is what unlocks accuracy. We take the opposite position: most of the gap can be closed at far lower cost by tuning preprocessing rather than scaling models. We use Ridge regression as the testbed, since it has a closed-form solution and interpretable weights, which let the optimal hyperparameters be read off the search directly. We search over context length, local normalization, regularization, and augmentation on eight standard benchmarks and find three patterns. (1) Optimal lookback is strongly series-specific and often non-monotonic in forecast horizon, with fitted power-law exponents ranging from +0.46 on ETTm2 to -0.19 on Exchange and Traffic, challenging the convention that longer horizons need longer history. (2) Normalizing over a learned trailing fraction of the context, rather than its entirety, is almost universally preferred. (3) Series within the same dataset often disagree on hyperparameters; the optimal degree of cross-series sharing varies from fully shared to fully per-series. The resulting models beat prior linear forecasters on most dataset-horizon entries and exceed Transformer, MLP, and CNN baselines on six of eight benchmarks. The optimized hyperparameters also serve as a diagnostic on the data itself, revealing structures that larger models absorb silently into their learned parameters.