Perché i Transformer Falliscono nella Previsione di Serie Temporali In-Context?

Why Do Transformers Fail to Forecast Time Series In-Context?

October 10, 2025

Autori: Yufa Zhou, Yixiao Wang, Surbhi Goel, Anru R. Zhang

cs.AI

Abstract

La previsione di serie temporali (TSF) rimane un problema impegnativo e in gran parte irrisolto nell'apprendimento automatico, nonostante i recenti sforzi significativi che hanno sfruttato i Modelli Linguistici di Grande Dimensione (LLMs), che si basano prevalentemente su architetture Transformer. Le evidenze empiriche mostrano costantemente che anche i Transformer più potenti spesso non riescono a superare modelli molto più semplici, ad esempio modelli lineari, nei compiti di TSF; tuttavia, una comprensione teorica rigorosa di questo fenomeno rimane limitata. In questo articolo, forniamo un'analisi teorica delle limitazioni dei Transformer per la TSF attraverso la lente della teoria dell'Apprendimento in Contesto (ICL). Nello specifico, sotto dati AR(p), stabiliamo che: (1) i modelli di Self-Attention Lineare (LSA) non possono ottenere un MSE atteso inferiore rispetto ai classici modelli lineari per la previsione in contesto; (2) man mano che la lunghezza del contesto si avvicina all'infinito, la LSA recupera asintoticamente il predittore lineare ottimale; e (3) sotto inferenza in stile Catena di Pensiero (CoT), le previsioni collassano alla media in modo esponenziale. Validiamo empiricamente questi risultati attraverso esperimenti accuratamente progettati. La nostra teoria non solo getta luce su diversi fenomeni precedentemente poco esplorati, ma offre anche intuizioni pratiche per progettare architetture di previsione più efficaci. Speriamo che il nostro lavoro incoraggi la più ampia comunità di ricerca a riesaminare le limitazioni teoriche fondamentali della TSF e a valutare criticamente l'applicazione diretta di architetture sempre più sofisticate senza un esame più approfondito.

English

Time series forecasting (TSF) remains a challenging and largely unsolved problem in machine learning, despite significant recent efforts leveraging Large Language Models (LLMs), which predominantly rely on Transformer architectures. Empirical evidence consistently shows that even powerful Transformers often fail to outperform much simpler models, e.g., linear models, on TSF tasks; however, a rigorous theoretical understanding of this phenomenon remains limited. In this paper, we provide a theoretical analysis of Transformers' limitations for TSF through the lens of In-Context Learning (ICL) theory. Specifically, under AR(p) data, we establish that: (1) Linear Self-Attention (LSA) models cannot achieve lower expected MSE than classical linear models for in-context forecasting; (2) as the context length approaches to infinity, LSA asymptotically recovers the optimal linear predictor; and (3) under Chain-of-Thought (CoT) style inference, predictions collapse to the mean exponentially. We empirically validate these findings through carefully designed experiments. Our theory not only sheds light on several previously underexplored phenomena but also offers practical insights for designing more effective forecasting architectures. We hope our work encourages the broader research community to revisit the fundamental theoretical limitations of TSF and to critically evaluate the direct application of increasingly sophisticated architectures without deeper scrutiny.