연속적 척도화 가설

초록

머신러닝이 대규모 병렬화를 통해 발전해 왔음에도, 우리는 중요한 맹점을 발견했다: 일부 문제는 근본적으로 순차적이라는 점이다. 수학적 추론부터 물리적 시뮬레이션, 순차적 의사결정에 이르는 이러한 "본질적으로 직렬적인" 문제들은 병렬화할 수 없는 종속적인 계산 단계를 필요로 한다. 복잡성 이론을 바탕으로, 우리는 이러한 차이를 공식화하고 현재의 병렬 중심 아키텍처가 이러한 작업에서 근본적인 한계에 직면해 있음을 보여준다. 우리는 계산의 직렬적 특성을 인식하는 것이 머신러닝, 모델 설계, 하드웨어 개발에 깊은 함의를 지닌다고 주장한다. AI가 점점 더 복잡한 추론에 도전함에 따라, 단순히 병렬 계산뿐만 아니라 직렬 계산을 의도적으로 확장하는 것이 지속적인 진보를 위해 필수적임을 강조한다.

English

While machine learning has advanced through massive parallelization, we identify a critical blind spot: some problems are fundamentally sequential. These "inherently serial" problems-from mathematical reasoning to physical simulations to sequential decision-making-require dependent computational steps that cannot be parallelized. Drawing from complexity theory, we formalize this distinction and demonstrate that current parallel-centric architectures face fundamental limitations on such tasks. We argue that recognizing the serial nature of computation holds profound implications on machine learning, model design, hardware development. As AI tackles increasingly complex reasoning, deliberately scaling serial computation-not just parallel computation-is essential for continued progress.

연속적 척도화 가설

The Serial Scaling Hypothesis

초록

Support