Wie gut können lineare Modelle für die Zeitreihenprognose sein?

Zusammenfassung

Die Forschung zur Zeitreihenvorhersage hat sich stetig in Richtung größerer Architekturen bewegt – von spezialisierten Transformatoren bis hin zu allgemeinen Grundlagenmodellen – unter der Annahme, dass die Leistungsfähigkeit der Schlüssel zur Genauigkeit ist. Wir vertreten die gegenteilige Position: Der größte Teil der Lücke lässt sich zu weitaus geringeren Kosten durch die Optimierung der Vorverarbeitung schließen, anstatt Modelle zu skalieren. Wir verwenden die Ridge-Regression als Testumgebung, da sie eine geschlossene Lösung und interpretierbare Gewichte bietet, sodass die optimalen Hyperparameter direkt aus der Suche abgelesen werden können. Wir durchsuchen die Kontextlänge, lokale Normalisierung, Regularisierung und Augmentation anhand von acht Standard-Benchmarks und entdecken drei Muster: (1) Der optimale Rückblick ist stark serienspezifisch und oft nicht monoton im Vorhersagehorizont, wobei die angepassten Potenzgesetz-Exponenten von +0,46 bei ETTm2 bis –0,19 bei Exchange und Traffic reichen, was der Konvention widerspricht, dass längere Horizonte eine längere Historie erfordern. (2) Die Normalisierung über einen gelernten nachlaufenden Bruchteil des Kontexts, anstatt über dessen Gesamtheit, ist nahezu durchgängig bevorzugt. (3) Serien innerhalb desselben Datensatzes stimmen oft nicht in den Hyperparametern überein; der optimale Grad der serienübergreifenden Teilung reicht von vollständig geteilt bis hin zu vollständig serienspezifisch. Die resultierenden Modelle übertreffen frühere lineare Vorhersagemethoden bei den meisten Datensatz-Horizont-Kombinationen und liegen bei sechs von acht Benchmarks über den Baseline-Verfahren von Transformer, MLP und CNN. Die optimierten Hyperparameter dienen zudem als Diagnostikum für die Daten selbst und decken Strukturen auf, die größere Modelle stillschweigend in ihre gelernten Parameter absorbieren.

English

Time-series forecasting research has been moving steadily toward larger architectures, from specialized transformers to general-purpose foundation models, on the assumption that capacity is what unlocks accuracy. We take the opposite position: most of the gap can be closed at far lower cost by tuning preprocessing rather than scaling models. We use Ridge regression as the testbed, since it has a closed-form solution and interpretable weights, which let the optimal hyperparameters be read off the search directly. We search over context length, local normalization, regularization, and augmentation on eight standard benchmarks and find three patterns. (1) Optimal lookback is strongly series-specific and often non-monotonic in forecast horizon, with fitted power-law exponents ranging from +0.46 on ETTm2 to -0.19 on Exchange and Traffic, challenging the convention that longer horizons need longer history. (2) Normalizing over a learned trailing fraction of the context, rather than its entirety, is almost universally preferred. (3) Series within the same dataset often disagree on hyperparameters; the optimal degree of cross-series sharing varies from fully shared to fully per-series. The resulting models beat prior linear forecasters on most dataset-horizon entries and exceed Transformer, MLP, and CNN baselines on six of eight benchmarks. The optimized hyperparameters also serve as a diagnostic on the data itself, revealing structures that larger models absorb silently into their learned parameters.