Насколько эффективными могут быть линейные модели для прогнозирования временных рядов?

Аннотация

Исследования в области прогнозирования временных рядов последовательно движутся в сторону более крупных архитектур — от специализированных трансформеров до фундаментальных моделей общего назначения, исходя из предположения, что именно ёмкость модели обеспечивает точность. Мы придерживаемся противоположной позиции: большую часть разрыва можно сократить с гораздо меньшими затратами за счёт настройки предобработки, а не масштабирования моделей. В качестве тестовой среды мы используем гребневую регрессию (Ridge regression), поскольку она имеет решение в замкнутой форме и интерпретируемые веса, что позволяет напрямую считывать оптимальные гиперпараметры из результатов поиска. Мы проводим поиск по длине контекста, локальной нормализации, регуляризации и аугментации на восьми стандартных эталонных наборах данных и обнаруживаем три закономерности. (1) Оптимальная глубина ретроспективы сильно зависит от конкретного ряда и часто немонотонна по горизонту прогноза; показатели степени в аппроксимации степенным законом варьируются от +0,46 на ETTm2 до –0,19 на Exchange и Traffic, что ставит под сомнение общепринятое мнение о том, что более длинные горизонты требуют более длинной предыстории. (2) Нормализация по обучаемой конечной части контекста, а не по всему контексту, почти повсеместно предпочтительнее. (3) Ряды внутри одного набора данных часто расходятся во мнениях относительно гиперпараметров; оптимальная степень совместного использования параметров между рядами варьируется от полного совместного использования до индивидуального для каждого ряда. Полученные модели превосходят предыдущие линейные прогнозисты на большинстве комбинаций «набор данных – горизонт» и превышают базовые показатели трансформеров, MLP и CNN на шести из восьми эталонных наборов. Оптимизированные гиперпараметры также служат диагностическим инструментом для самих данных, выявляя структуры, которые более крупные модели молча усваивают в своих обученных параметрах.

English

Time-series forecasting research has been moving steadily toward larger architectures, from specialized transformers to general-purpose foundation models, on the assumption that capacity is what unlocks accuracy. We take the opposite position: most of the gap can be closed at far lower cost by tuning preprocessing rather than scaling models. We use Ridge regression as the testbed, since it has a closed-form solution and interpretable weights, which let the optimal hyperparameters be read off the search directly. We search over context length, local normalization, regularization, and augmentation on eight standard benchmarks and find three patterns. (1) Optimal lookback is strongly series-specific and often non-monotonic in forecast horizon, with fitted power-law exponents ranging from +0.46 on ETTm2 to -0.19 on Exchange and Traffic, challenging the convention that longer horizons need longer history. (2) Normalizing over a learned trailing fraction of the context, rather than its entirety, is almost universally preferred. (3) Series within the same dataset often disagree on hyperparameters; the optimal degree of cross-series sharing varies from fully shared to fully per-series. The resulting models beat prior linear forecasters on most dataset-horizon entries and exceed Transformer, MLP, and CNN baselines on six of eight benchmarks. The optimized hyperparameters also serve as a diagnostic on the data itself, revealing structures that larger models absorb silently into their learned parameters.