L'Hypothèse de Mise à l'Échelle Sérielle

papers.abstract

Alors que l'apprentissage automatique a progressé grâce à une parallélisation massive, nous identifions un angle mort critique : certains problèmes sont fondamentalement séquentiels. Ces problèmes « intrinsèquement séquentiels » – qu'il s'agisse de raisonnement mathématique, de simulations physiques ou de prise de décision séquentielle – nécessitent des étapes de calcul dépendantes qui ne peuvent pas être parallélisées. En nous appuyant sur la théorie de la complexité, nous formalisons cette distinction et démontrons que les architectures actuelles centrées sur la parallélisation rencontrent des limitations fondamentales pour de telles tâches. Nous soutenons que la reconnaissance de la nature séquentielle du calcul a des implications profondes sur l'apprentissage automatique, la conception des modèles et le développement matériel. Alors que l'intelligence artificielle s'attaque à des raisonnements de plus en plus complexes, il est essentiel, pour poursuivre les progrès, de développer délibérément le calcul séquentiel – et pas seulement le calcul parallèle.

English

While machine learning has advanced through massive parallelization, we identify a critical blind spot: some problems are fundamentally sequential. These "inherently serial" problems-from mathematical reasoning to physical simulations to sequential decision-making-require dependent computational steps that cannot be parallelized. Drawing from complexity theory, we formalize this distinction and demonstrate that current parallel-centric architectures face fundamental limitations on such tasks. We argue that recognizing the serial nature of computation holds profound implications on machine learning, model design, hardware development. As AI tackles increasingly complex reasoning, deliberately scaling serial computation-not just parallel computation-is essential for continued progress.

L'Hypothèse de Mise à l'Échelle Sérielle

The Serial Scaling Hypothesis

papers.abstract

Support