Почему трансформеры не справляются с прогнозированием временных рядов в контексте?

Why Do Transformers Fail to Forecast Time Series In-Context?

October 10, 2025

Авторы: Yufa Zhou, Yixiao Wang, Surbhi Goel, Anru R. Zhang

cs.AI

Аннотация

Прогнозирование временных рядов (TSF) остается сложной и в значительной степени нерешенной задачей в машинном обучении, несмотря на недавние значительные усилия, связанные с использованием крупных языковых моделей (LLMs), которые преимущественно опираются на архитектуры Transformer. Эмпирические данные последовательно показывают, что даже мощные Transformer часто не превосходят гораздо более простые модели, например, линейные модели, в задачах TSF; однако строгое теоретическое понимание этого явления остается ограниченным. В данной статье мы предоставляем теоретический анализ ограничений Transformer для TSF через призму теории обучения в контексте (In-Context Learning, ICL). В частности, для данных AR(p) мы устанавливаем, что: (1) модели с линейным самовниманием (Linear Self-Attention, LSA) не могут достичь меньшей ожидаемой среднеквадратичной ошибки (MSE), чем классические линейные модели, для прогнозирования в контексте; (2) при увеличении длины контекста до бесконечности LSA асимптотически восстанавливает оптимальный линейный предиктор; и (3) при использовании логического вывода в стиле "цепочки рассуждений" (Chain-of-Thought, CoT) предсказания экспоненциально стремятся к среднему значению. Мы эмпирически подтверждаем эти выводы с помощью тщательно спланированных экспериментов. Наша теория не только проливает свет на несколько ранее недостаточно изученных явлений, но и предлагает практические рекомендации для разработки более эффективных архитектур прогнозирования. Мы надеемся, что наша работа побудит более широкое исследовательское сообщество пересмотреть фундаментальные теоретические ограничения TSF и критически оценить прямое применение все более сложных архитектур без глубокого анализа.

English

Time series forecasting (TSF) remains a challenging and largely unsolved problem in machine learning, despite significant recent efforts leveraging Large Language Models (LLMs), which predominantly rely on Transformer architectures. Empirical evidence consistently shows that even powerful Transformers often fail to outperform much simpler models, e.g., linear models, on TSF tasks; however, a rigorous theoretical understanding of this phenomenon remains limited. In this paper, we provide a theoretical analysis of Transformers' limitations for TSF through the lens of In-Context Learning (ICL) theory. Specifically, under AR(p) data, we establish that: (1) Linear Self-Attention (LSA) models cannot achieve lower expected MSE than classical linear models for in-context forecasting; (2) as the context length approaches to infinity, LSA asymptotically recovers the optimal linear predictor; and (3) under Chain-of-Thought (CoT) style inference, predictions collapse to the mean exponentially. We empirically validate these findings through carefully designed experiments. Our theory not only sheds light on several previously underexplored phenomena but also offers practical insights for designing more effective forecasting architectures. We hope our work encourages the broader research community to revisit the fundamental theoretical limitations of TSF and to critically evaluate the direct application of increasingly sophisticated architectures without deeper scrutiny.