Гипотеза последовательного масштабирования

The Serial Scaling Hypothesis

July 16, 2025

Авторы: Yuxi Liu, Konpat Preechakul, Kananart Kuwaranancharoen, Yutong Bai

cs.AI

Аннотация

Хотя машинное обучение продвинулось вперед благодаря массовой параллелизации, мы выявляем критический пробел: некоторые задачи по своей природе являются последовательными. Эти "внутренне последовательные" задачи — от математических рассуждений до физического моделирования и последовательного принятия решений — требуют зависимых вычислительных шагов, которые невозможно распараллелить. Опираясь на теорию сложности, мы формализуем это различие и показываем, что современные архитектуры, ориентированные на параллелизм, сталкиваются с фундаментальными ограничениями при решении таких задач. Мы утверждаем, что осознание последовательной природы вычислений имеет глубокие последствия для машинного обучения, проектирования моделей и разработки аппаратного обеспечения. По мере того как ИИ берется за все более сложные задачи рассуждения, целенаправленное масштабирование последовательных вычислений — а не только параллельных — становится необходимым для дальнейшего прогресса.

English

While machine learning has advanced through massive parallelization, we identify a critical blind spot: some problems are fundamentally sequential. These "inherently serial" problems-from mathematical reasoning to physical simulations to sequential decision-making-require dependent computational steps that cannot be parallelized. Drawing from complexity theory, we formalize this distinction and demonstrate that current parallel-centric architectures face fundamental limitations on such tasks. We argue that recognizing the serial nature of computation holds profound implications on machine learning, model design, hardware development. As AI tackles increasingly complex reasoning, deliberately scaling serial computation-not just parallel computation-is essential for continued progress.