A Hipótese de Escalonamento Serial

The Serial Scaling Hypothesis

July 16, 2025

Autores: Yuxi Liu, Konpat Preechakul, Kananart Kuwaranancharoen, Yutong Bai

cs.AI

Resumo

Embora o aprendizado de máquina tenha avançado por meio de uma massiva paralelização, identificamos um ponto cego crítico: alguns problemas são fundamentalmente sequenciais. Esses problemas "inerentemente seriais" — desde o raciocínio matemático até simulações físicas e tomadas de decisão sequenciais — exigem etapas computacionais dependentes que não podem ser paralelizadas. Com base na teoria da complexidade, formalizamos essa distinção e demonstramos que as arquiteturas atuais centradas na paralelização enfrentam limitações fundamentais nessas tarefas. Argumentamos que reconhecer a natureza serial da computação tem implicações profundas no aprendizado de máquina, no design de modelos e no desenvolvimento de hardware. À medida que a IA aborda raciocínios cada vez mais complexos, escalar deliberadamente a computação serial — e não apenas a computação paralela — é essencial para o progresso contínuo.

English

While machine learning has advanced through massive parallelization, we identify a critical blind spot: some problems are fundamentally sequential. These "inherently serial" problems-from mathematical reasoning to physical simulations to sequential decision-making-require dependent computational steps that cannot be parallelized. Drawing from complexity theory, we formalize this distinction and demonstrate that current parallel-centric architectures face fundamental limitations on such tasks. We argue that recognizing the serial nature of computation holds profound implications on machine learning, model design, hardware development. As AI tackles increasingly complex reasoning, deliberately scaling serial computation-not just parallel computation-is essential for continued progress.