¿Qué tan buenos pueden ser los modelos lineales para la predicción de series temporales?

Resumen

La investigación en predicción de series temporales ha venido avanzando de manera constante hacia arquitecturas más grandes, desde transformadores especializados hasta modelos fundacionales de propósito general, bajo el supuesto de que la capacidad es lo que desbloquea la precisión. Nosotros adoptamos la posición opuesta: la mayor parte de la brecha puede cerrarse a un costo mucho menor ajustando el preprocesamiento en lugar de escalar los modelos. Utilizamos la regresión Ridge como banco de pruebas, ya que tiene una solución de forma cerrada y pesos interpretables, lo que permite leer los hiperparámetros óptimos directamente de la búsqueda. Exploramos la longitud de contexto, la normalización local, la regularización y el aumento en ocho referencias estándar y encontramos tres patrones. (1) La retrospectiva óptima es fuertemente específica de cada serie y a menudo no monótona en el horizonte de pronóstico, con exponentes de ley de potencia ajustados que van desde +0,46 en ETTm2 hasta -0,19 en Exchange y Traffic, lo que desafía la convención de que horizontes más largos requieren historias más largas. (2) Normalizar sobre una fracción final aprendida del contexto, en lugar de sobre su totalidad, es casi universalmente preferido. (3) Las series dentro de un mismo conjunto de datos a menudo difieren en los hiperparámetros; el grado óptimo de compartición entre series varía desde completamente compartido hasta completamente por serie. Los modelos resultantes superan a los pronosticadores lineales previos en la mayoría de las entradas de conjunto de datos y horizonte, y exceden las líneas base de transformadores, MLP y CNN en seis de las ocho referencias. Los hiperparámetros optimizados también sirven como diagnóstico sobre los propios datos, revelando estructuras que los modelos más grandes absorben silenciosamente en sus parámetros aprendidos.

English

Time-series forecasting research has been moving steadily toward larger architectures, from specialized transformers to general-purpose foundation models, on the assumption that capacity is what unlocks accuracy. We take the opposite position: most of the gap can be closed at far lower cost by tuning preprocessing rather than scaling models. We use Ridge regression as the testbed, since it has a closed-form solution and interpretable weights, which let the optimal hyperparameters be read off the search directly. We search over context length, local normalization, regularization, and augmentation on eight standard benchmarks and find three patterns. (1) Optimal lookback is strongly series-specific and often non-monotonic in forecast horizon, with fitted power-law exponents ranging from +0.46 on ETTm2 to -0.19 on Exchange and Traffic, challenging the convention that longer horizons need longer history. (2) Normalizing over a learned trailing fraction of the context, rather than its entirety, is almost universally preferred. (3) Series within the same dataset often disagree on hyperparameters; the optimal degree of cross-series sharing varies from fully shared to fully per-series. The resulting models beat prior linear forecasters on most dataset-horizon entries and exceed Transformer, MLP, and CNN baselines on six of eight benchmarks. The optimized hyperparameters also serve as a diagnostic on the data itself, revealing structures that larger models absorb silently into their learned parameters.