L'Ipotesi di Scalabilità Seriale

The Serial Scaling Hypothesis

July 16, 2025

Autori: Yuxi Liu, Konpat Preechakul, Kananart Kuwaranancharoen, Yutong Bai

cs.AI

Abstract

Mentre l'apprendimento automatico ha fatto progressi grazie alla massiccia parallelizzazione, identifichiamo un punto cieco cruciale: alcuni problemi sono intrinsecamente sequenziali. Questi problemi "intrinsecamente seriali" - dal ragionamento matematico alle simulazioni fisiche fino al processo decisionale sequenziale - richiedono passaggi computazionali dipendenti che non possono essere parallelizzati. Attingendo dalla teoria della complessità, formalizziamo questa distinzione e dimostriamo che le attuali architetture incentrate sulla parallelizzazione affrontano limitazioni fondamentali in tali compiti. Sosteniamo che riconoscere la natura seriale del calcolo ha profonde implicazioni sull'apprendimento automatico, sulla progettazione dei modelli e sullo sviluppo hardware. Man mano che l'IA affronta ragionamenti sempre più complessi, scalare deliberatamente il calcolo seriale - non solo quello parallelo - è essenziale per il progresso continuo.

English

While machine learning has advanced through massive parallelization, we identify a critical blind spot: some problems are fundamentally sequential. These "inherently serial" problems-from mathematical reasoning to physical simulations to sequential decision-making-require dependent computational steps that cannot be parallelized. Drawing from complexity theory, we formalize this distinction and demonstrate that current parallel-centric architectures face fundamental limitations on such tasks. We argue that recognizing the serial nature of computation holds profound implications on machine learning, model design, hardware development. As AI tackles increasingly complex reasoning, deliberately scaling serial computation-not just parallel computation-is essential for continued progress.