Pourquoi les Transformers échouent-ils à prévoir les séries temporelles en contexte ?

Why Do Transformers Fail to Forecast Time Series In-Context?

October 10, 2025

papers.authors: Yufa Zhou, Yixiao Wang, Surbhi Goel, Anru R. Zhang

cs.AI

papers.abstract

La prévision de séries temporelles (TSF) reste un problème difficile et largement non résolu dans l'apprentissage automatique, malgré les efforts récents significatifs exploitant les modèles de langage de grande taille (LLMs), qui reposent principalement sur des architectures de type Transformer. Les preuves empiriques montrent de manière constante que même les Transformers puissants échouent souvent à surpasser des modèles beaucoup plus simples, par exemple les modèles linéaires, dans les tâches de TSF ; cependant, une compréhension théorique rigoureuse de ce phénomène reste limitée. Dans cet article, nous proposons une analyse théorique des limitations des Transformers pour la TSF à travers le prisme de la théorie de l'apprentissage en contexte (In-Context Learning, ICL). Plus précisément, sous des données AR(p), nous établissons que : (1) les modèles d'auto-attention linéaire (LSA) ne peuvent pas atteindre une erreur quadratique moyenne (MSE) attendue inférieure à celle des modèles linéaires classiques pour la prévision en contexte ; (2) lorsque la longueur du contexte tend vers l'infini, le LSA récupère asymptotiquement le prédicteur linéaire optimal ; et (3) sous une inférence de type Chaîne de Pensée (CoT), les prédictions convergent exponentiellement vers la moyenne. Nous validons empiriquement ces résultats à travers des expériences soigneusement conçues. Notre théorie éclaire non seulement plusieurs phénomènes précédemment peu explorés, mais offre également des insights pratiques pour concevoir des architectures de prévision plus efficaces. Nous espérons que notre travail encouragera la communauté de recherche à revisiter les limitations théoriques fondamentales de la TSF et à évaluer de manière critique l'application directe d'architectures de plus en plus sophistiquées sans un examen approfondi.

English

Time series forecasting (TSF) remains a challenging and largely unsolved problem in machine learning, despite significant recent efforts leveraging Large Language Models (LLMs), which predominantly rely on Transformer architectures. Empirical evidence consistently shows that even powerful Transformers often fail to outperform much simpler models, e.g., linear models, on TSF tasks; however, a rigorous theoretical understanding of this phenomenon remains limited. In this paper, we provide a theoretical analysis of Transformers' limitations for TSF through the lens of In-Context Learning (ICL) theory. Specifically, under AR(p) data, we establish that: (1) Linear Self-Attention (LSA) models cannot achieve lower expected MSE than classical linear models for in-context forecasting; (2) as the context length approaches to infinity, LSA asymptotically recovers the optimal linear predictor; and (3) under Chain-of-Thought (CoT) style inference, predictions collapse to the mean exponentially. We empirically validate these findings through carefully designed experiments. Our theory not only sheds light on several previously underexplored phenomena but also offers practical insights for designing more effective forecasting architectures. We hope our work encourages the broader research community to revisit the fundamental theoretical limitations of TSF and to critically evaluate the direct application of increasingly sophisticated architectures without deeper scrutiny.