Quão bons podem ser os modelos lineares para previsão de séries temporais?

Resumo

A pesquisa em previsão de séries temporais tem avançado consistentemente em direção a arquiteturas maiores, desde transformadores especializados até modelos fundamentais de propósito geral, sob a premissa de que a capacidade é o que desbloqueia a acurácia. Adotamos a posição oposta: a maior parte da lacuna pode ser reduzida a um custo muito menor ajustando o pré-processamento, em vez de escalar modelos. Utilizamos a regressão Ridge como plataforma de teste, por ter solução de forma fechada e pesos interpretáveis, que permitem que os hiperparâmetros ótimos sejam lidos diretamente da busca. Buscamos por comprimento de contexto, normalização local, regularização e aumento de dados em oito referências padrão e encontramos três padrões. (1) O olhar para trás ótimo é fortemente específico da série e frequentemente não monotônico em relação ao horizonte de previsão, com expoentes de lei de potência ajustados variando de +0,46 no ETTm2 a -0,19 no Exchange e Traffic, desafiando a convenção de que horizontes mais longos exigem históricos mais longos. (2) Normalizar sobre uma fração final aprendida do contexto, em vez de sua totalidade, é quase universalmente preferido. (3) Séries dentro do mesmo conjunto de dados frequentemente discordam quanto aos hiperparâmetros; o grau ótimo de compartilhamento entre séries varia desde totalmente compartilhado até totalmente por série. Os modelos resultantes superam previsores lineares anteriores na maioria das entradas de conjunto de dados e horizonte e excedem as linhas de base de Transformer, MLP e CNN em seis de oito referências. Os hiperparâmetros otimizados também servem como diagnóstico dos próprios dados, revelando estruturas que modelos maiores absorvem silenciosamente em seus parâmetros aprendidos.

English

Time-series forecasting research has been moving steadily toward larger architectures, from specialized transformers to general-purpose foundation models, on the assumption that capacity is what unlocks accuracy. We take the opposite position: most of the gap can be closed at far lower cost by tuning preprocessing rather than scaling models. We use Ridge regression as the testbed, since it has a closed-form solution and interpretable weights, which let the optimal hyperparameters be read off the search directly. We search over context length, local normalization, regularization, and augmentation on eight standard benchmarks and find three patterns. (1) Optimal lookback is strongly series-specific and often non-monotonic in forecast horizon, with fitted power-law exponents ranging from +0.46 on ETTm2 to -0.19 on Exchange and Traffic, challenging the convention that longer horizons need longer history. (2) Normalizing over a learned trailing fraction of the context, rather than its entirety, is almost universally preferred. (3) Series within the same dataset often disagree on hyperparameters; the optimal degree of cross-series sharing varies from fully shared to fully per-series. The resulting models beat prior linear forecasters on most dataset-horizon entries and exceed Transformer, MLP, and CNN baselines on six of eight benchmarks. The optimized hyperparameters also serve as a diagnostic on the data itself, revealing structures that larger models absorb silently into their learned parameters.