De Seriële Schaalhypothese

The Serial Scaling Hypothesis

July 16, 2025

Auteurs: Yuxi Liu, Konpat Preechakul, Kananart Kuwaranancharoen, Yutong Bai

cs.AI

Samenvatting

Hoewel machine learning vooruitgang heeft geboekt door massale parallelisatie, identificeren we een kritieke blinde vlek: sommige problemen zijn fundamenteel sequentieel. Deze "intrinsiek seriële" problemen - van wiskundig redeneren tot fysische simulaties en sequentiële besluitvorming - vereisen afhankelijke rekenstappen die niet geparalleliseerd kunnen worden. Gebaseerd op complexiteitstheorie formaliseren we dit onderscheid en tonen we aan dat huidige parallel-gerichte architecturen fundamentele beperkingen hebben bij dergelijke taken. We beargumenteren dat het erkennen van het seriële karakter van berekeningen diepgaande implicaties heeft voor machine learning, modelontwerp en hardwareontwikkeling. Naarmate AI zich bezighoudt met steeds complexer redeneren, is het bewust opschalen van seriële berekeningen - niet alleen parallelle berekeningen - essentieel voor voortdurende vooruitgang.

English

While machine learning has advanced through massive parallelization, we identify a critical blind spot: some problems are fundamentally sequential. These "inherently serial" problems-from mathematical reasoning to physical simulations to sequential decision-making-require dependent computational steps that cannot be parallelized. Drawing from complexity theory, we formalize this distinction and demonstrate that current parallel-centric architectures face fundamental limitations on such tasks. We argue that recognizing the serial nature of computation holds profound implications on machine learning, model design, hardware development. As AI tackles increasingly complex reasoning, deliberately scaling serial computation-not just parallel computation-is essential for continued progress.