Die Hypothese der seriellen Skalierung

The Serial Scaling Hypothesis

July 16, 2025

papers.authors: Yuxi Liu, Konpat Preechakul, Kananart Kuwaranancharoen, Yutong Bai

cs.AI

papers.abstract

Während das maschinelle Lernen durch massive Parallelisierung vorangeschritten ist, identifizieren wir einen kritischen blinden Fleck: Einige Probleme sind grundsätzlich sequenzieller Natur. Diese „inhärent seriellen“ Probleme – von mathematischem Denken über physikalische Simulationen bis hin zu sequenzieller Entscheidungsfindung – erfordern voneinander abhängige Berechnungsschritte, die nicht parallelisiert werden können. Ausgehend von der Komplexitätstheorie formalisieren wir diese Unterscheidung und zeigen, dass aktuelle parallelzentrierte Architekturen bei solchen Aufgaben grundlegende Grenzen aufweisen. Wir argumentieren, dass die Anerkennung der seriellen Natur der Berechnung tiefgreifende Auswirkungen auf das maschinelle Lernen, das Modelldesign und die Hardwareentwicklung hat. Da die KI zunehmend komplexe Denkprozesse bewältigt, ist die gezielte Skalierung serieller Berechnungen – nicht nur paralleler Berechnungen – entscheidend für den weiteren Fortschritt.

English

While machine learning has advanced through massive parallelization, we identify a critical blind spot: some problems are fundamentally sequential. These "inherently serial" problems-from mathematical reasoning to physical simulations to sequential decision-making-require dependent computational steps that cannot be parallelized. Drawing from complexity theory, we formalize this distinction and demonstrate that current parallel-centric architectures face fundamental limitations on such tasks. We argue that recognizing the serial nature of computation holds profound implications on machine learning, model design, hardware development. As AI tackles increasingly complex reasoning, deliberately scaling serial computation-not just parallel computation-is essential for continued progress.