La Hipótesis de Escalado en Serie

The Serial Scaling Hypothesis

July 16, 2025

Autores: Yuxi Liu, Konpat Preechakul, Kananart Kuwaranancharoen, Yutong Bai

cs.AI

Resumen

Si bien el aprendizaje automático ha avanzado gracias a la paralelización masiva, identificamos un punto ciego crítico: algunos problemas son fundamentalmente secuenciales. Estos problemas "inherentemente seriales"—desde el razonamiento matemático hasta las simulaciones físicas y la toma de decisiones secuencial—requieren pasos computacionales dependientes que no pueden paralelizarse. Basándonos en la teoría de la complejidad, formalizamos esta distinción y demostramos que las arquitecturas actuales centradas en la paralelización enfrentan limitaciones fundamentales en tales tareas. Argumentamos que reconocer la naturaleza serial de la computación tiene implicaciones profundas en el aprendizaje automático, el diseño de modelos y el desarrollo de hardware. A medida que la IA aborda razonamientos cada vez más complejos, escalar deliberadamente la computación serial—no solo la computación paralela—es esencial para continuar avanzando.

English

While machine learning has advanced through massive parallelization, we identify a critical blind spot: some problems are fundamentally sequential. These "inherently serial" problems-from mathematical reasoning to physical simulations to sequential decision-making-require dependent computational steps that cannot be parallelized. Drawing from complexity theory, we formalize this distinction and demonstrate that current parallel-centric architectures face fundamental limitations on such tasks. We argue that recognizing the serial nature of computation holds profound implications on machine learning, model design, hardware development. As AI tackles increasingly complex reasoning, deliberately scaling serial computation-not just parallel computation-is essential for continued progress.