Hoe goed kunnen lineaire modellen zijn voor tijdreeksvoorspelling?

Samenvatting

Tijdreeksvoorspellingsonderzoek is gestaag in de richting van grotere architecturen opgeschoven, van gespecialiseerde transformatoren tot algemene funderingsmodellen, onder de aanname dat capaciteit de sleutel is tot nauwkeurigheid. Wij nemen de tegenovergestelde positie in: het grootste deel van de kloof kan tegen veel lagere kosten worden gedicht door de voorbewerking af te stemmen in plaats van modellen op te schalen. We gebruiken Ridge-regressie als testbed, omdat deze een gesloten-vorm oplossing en interpreteerbare gewichten heeft, waardoor de optimale hyperparameters direct uit de zoekopdracht kunnen worden afgelezen. We doorzoeken contextlengte, lokale normalisatie, regularisatie en augmentatie op acht standaard benchmarks en vinden drie patronen. (1) Optimale terugkijkvensters zijn sterk seriespecifiek en vaak niet-monotoon in de voorspellingshorizon, met aangepaste machtswetexponenten variërend van +0,46 op ETTm2 tot -0,19 op Exchange en Traffic, wat de conventie uitdaagt dat langere horizons een langere geschiedenis vereisen. (2) Normaliseren over een getrainde achterwaartse fractie van de context, in plaats van de gehele context, heeft vrijwel universeel de voorkeur. (3) Reeksen binnen dezelfde dataset verschillen vaak van mening over hyperparameters; de optimale mate van cross-serie delen varieert van volledig gedeeld tot volledig per reeks. De resulterende modellen verslaan eerdere lineaire voorspellers op de meeste dataset-horizon combinaties en overtreffen Transformer-, MLP- en CNN-basislijnen op zes van de acht benchmarks. De geoptimaliseerde hyperparameters dienen tevens als een diagnostisch hulpmiddel voor de data zelf, waarbij structuren aan het licht komen die grotere modellen stilzwijgend in hun aangeleerde parameters absorberen.

English

Time-series forecasting research has been moving steadily toward larger architectures, from specialized transformers to general-purpose foundation models, on the assumption that capacity is what unlocks accuracy. We take the opposite position: most of the gap can be closed at far lower cost by tuning preprocessing rather than scaling models. We use Ridge regression as the testbed, since it has a closed-form solution and interpretable weights, which let the optimal hyperparameters be read off the search directly. We search over context length, local normalization, regularization, and augmentation on eight standard benchmarks and find three patterns. (1) Optimal lookback is strongly series-specific and often non-monotonic in forecast horizon, with fitted power-law exponents ranging from +0.46 on ETTm2 to -0.19 on Exchange and Traffic, challenging the convention that longer horizons need longer history. (2) Normalizing over a learned trailing fraction of the context, rather than its entirety, is almost universally preferred. (3) Series within the same dataset often disagree on hyperparameters; the optimal degree of cross-series sharing varies from fully shared to fully per-series. The resulting models beat prior linear forecasters on most dataset-horizon entries and exceed Transformer, MLP, and CNN baselines on six of eight benchmarks. The optimized hyperparameters also serve as a diagnostic on the data itself, revealing structures that larger models absorb silently into their learned parameters.