L'illusion des rendements décroissants : Mesurer l'exécution à long horizon dans les modèles de langage de grande taille

The Illusion of Diminishing Returns: Measuring Long Horizon Execution in LLMs

September 11, 2025

papers.authors: Akshit Sinha, Arvindh Arun, Shashwat Goel, Steffen Staab, Jonas Geiping

cs.AI

papers.abstract

La mise à l'échelle continue des grands modèles de langage (LLM) entraîne-t-elle des rendements décroissants ? La valeur réelle découle souvent de la longueur de la tâche qu'un agent peut accomplir. Nous commençons ce travail en observant le fait simple mais contre-intuitif que les gains marginaux en précision à une seule étape peuvent se traduire par des améliorations exponentielles dans la longueur de la tâche qu'un modèle peut accomplir avec succès. Ensuite, nous soutenons que les échecs des LLM lorsque des tâches simples sont prolongées proviennent d'erreurs d'exécution, plutôt que d'une incapacité à raisonner. Nous proposons d'isoler la capacité d'exécution, en fournissant explicitement les connaissances et le plan nécessaires pour résoudre une tâche à long terme. Nous constatons que les modèles plus grands peuvent exécuter correctement un nombre significativement plus élevé d'étapes, même lorsque les petits modèles ont une précision de 100 % à une seule étape. Nous observons que la précision par étape des modèles se dégrade à mesure que le nombre d'étapes augmente. Cela n'est pas seulement dû aux limitations de contexte long — curieusement, nous observons un effet d'auto-conditionnement — les modèles deviennent plus susceptibles de commettre des erreurs lorsque le contexte contient leurs erreurs des étapes précédentes. L'auto-conditionnement ne diminue pas simplement en augmentant la taille du modèle. En revanche, les modèles de pensée récents ne s'auto-conditionnent pas et peuvent également exécuter des tâches beaucoup plus longues en une seule étape. Nous concluons en évaluant les modèles de pensée de pointe sur la longueur de la tâche qu'ils peuvent exécuter en une seule étape. Globalement, en nous concentrant sur la capacité d'exécution, nous espérons réconcilier les débats sur la manière dont les LLM peuvent résoudre des problèmes de raisonnement complexes tout en échouant à des tâches simples lorsqu'elles sont prolongées, et mettre en évidence les avantages massifs de la mise à l'échelle de la taille des modèles et du calcul séquentiel au moment du test pour les tâches à long terme.

English

Does continued scaling of large language models (LLMs) yield diminishing returns? Real-world value often stems from the length of task an agent can complete. We start this work by observing the simple but counterintuitive fact that marginal gains in single-step accuracy can compound into exponential improvements in the length of a task a model can successfully complete. Then, we argue that failures of LLMs when simple tasks are made longer arise from mistakes in execution, rather than an inability to reason. We propose isolating execution capability, by explicitly providing the knowledge and plan needed to solve a long-horizon task. We find that larger models can correctly execute significantly more turns even when small models have 100\% single-turn accuracy. We observe that the per-step accuracy of models degrades as the number of steps increases. This is not just due to long-context limitations -- curiously, we observe a self-conditioning effect -- models become more likely to make mistakes when the context contains their errors from prior turns. Self-conditioning does not reduce by just scaling the model size. In contrast, recent thinking models do not self-condition, and can also execute much longer tasks in a single turn. We conclude by benchmarking frontier thinking models on the length of task they can execute in a single turn. Overall, by focusing on the ability to execute, we hope to reconcile debates on how LLMs can solve complex reasoning problems yet fail at simple tasks when made longer, and highlight the massive benefits of scaling model size and sequential test-time compute for long-horizon tasks.