逐次スケーリング仮説

The Serial Scaling Hypothesis

July 16, 2025

著者: Yuxi Liu, Konpat Preechakul, Kananart Kuwaranancharoen, Yutong Bai

cs.AI

要旨

機械学習は大規模な並列化によって進展してきたが、我々は重要な盲点を指摘する：一部の問題は本質的に逐次的である。これらの「本質的に逐次的」な問題——数学的推論から物理シミュレーション、逐次的意思決定に至るまで——は、並列化できない依存的な計算ステップを必要とする。複雑性理論に基づいて、この区別を形式化し、現在の並列中心のアーキテクチャがそのようなタスクにおいて根本的な制限に直面することを示す。計算の逐次的な性質を認識することは、機械学習、モデル設計、ハードウェア開発に深い影響を及ぼすと論じる。AIがますます複雑な推論に取り組む中で、並列計算だけでなく、意図的に逐次計算をスケールアップすることが、継続的な進歩にとって不可欠である。

English

While machine learning has advanced through massive parallelization, we identify a critical blind spot: some problems are fundamentally sequential. These "inherently serial" problems-from mathematical reasoning to physical simulations to sequential decision-making-require dependent computational steps that cannot be parallelized. Drawing from complexity theory, we formalize this distinction and demonstrate that current parallel-centric architectures face fundamental limitations on such tasks. We argue that recognizing the serial nature of computation holds profound implications on machine learning, model design, hardware development. As AI tackles increasingly complex reasoning, deliberately scaling serial computation-not just parallel computation-is essential for continued progress.