Die Illusion abnehmender Erträge: Messung der langfristigen Ausführung in LLMs

The Illusion of Diminishing Returns: Measuring Long Horizon Execution in LLMs

September 11, 2025

papers.authors: Akshit Sinha, Arvindh Arun, Shashwat Goel, Steffen Staab, Jonas Geiping

cs.AI

papers.abstract

Führt die fortgesetzte Skalierung großer Sprachmodelle (LLMs) zu abnehmenden Erträgen? Der reale Wert ergibt sich oft aus der Länge der Aufgabe, die ein Agent abschließen kann. Wir beginnen diese Arbeit mit der Beobachtung der einfachen, aber kontraintuitiven Tatsache, dass marginale Verbesserungen in der Einzelschrittgenauigkeit zu exponentiellen Steigerungen in der Länge der Aufgabe führen können, die ein Modell erfolgreich abschließen kann. Dann argumentieren wir, dass die Fehler von LLMs, wenn einfache Aufgaben verlängert werden, eher auf Fehler in der Ausführung als auf eine Unfähigkeit zum logischen Denken zurückzuführen sind. Wir schlagen vor, die Ausführungsfähigkeit zu isolieren, indem explizit das Wissen und der Plan bereitgestellt werden, die zur Lösung einer langfristigen Aufgabe benötigt werden. Wir stellen fest, dass größere Modelle deutlich mehr Schritte korrekt ausführen können, selbst wenn kleinere Modelle eine 100\%ige Einzelschrittgenauigkeit aufweisen. Wir beobachten, dass die Genauigkeit pro Schritt der Modelle abnimmt, wenn die Anzahl der Schritte zunimmt. Dies liegt nicht nur an den Einschränkungen des langen Kontexts – merkwürdigerweise beobachten wir einen Selbstkonditionierungseffekt – Modelle werden eher Fehler machen, wenn der Kontext ihre Fehler aus vorherigen Schritten enthält. Selbstkonditionierung verringert sich nicht allein durch die Skalierung der Modellgröße. Im Gegensatz dazu zeigen aktuelle Denkmodelle keine Selbstkonditionierung und können auch viel längere Aufgaben in einem einzigen Schritt ausführen. Wir schließen mit einem Benchmarking von Spitzen-Denkmodelle hinsichtlich der Länge der Aufgabe, die sie in einem einzigen Schritt ausführen können. Insgesamt hoffen wir, durch den Fokus auf die Ausführungsfähigkeit, Debatten darüber zu versöhnen, wie LLMs komplexe Denkprobleme lösen können, aber bei einfachen Aufgaben scheitern, wenn diese verlängert werden, und die enormen Vorteile der Skalierung der Modellgröße und der sequentiellen Testzeitberechnung für langfristige Aufgaben hervorzuheben.

English

Does continued scaling of large language models (LLMs) yield diminishing returns? Real-world value often stems from the length of task an agent can complete. We start this work by observing the simple but counterintuitive fact that marginal gains in single-step accuracy can compound into exponential improvements in the length of a task a model can successfully complete. Then, we argue that failures of LLMs when simple tasks are made longer arise from mistakes in execution, rather than an inability to reason. We propose isolating execution capability, by explicitly providing the knowledge and plan needed to solve a long-horizon task. We find that larger models can correctly execute significantly more turns even when small models have 100\% single-turn accuracy. We observe that the per-step accuracy of models degrades as the number of steps increases. This is not just due to long-context limitations -- curiously, we observe a self-conditioning effect -- models become more likely to make mistakes when the context contains their errors from prior turns. Self-conditioning does not reduce by just scaling the model size. In contrast, recent thinking models do not self-condition, and can also execute much longer tasks in a single turn. We conclude by benchmarking frontier thinking models on the length of task they can execute in a single turn. Overall, by focusing on the ability to execute, we hope to reconcile debates on how LLMs can solve complex reasoning problems yet fail at simple tasks when made longer, and highlight the massive benefits of scaling model size and sequential test-time compute for long-horizon tasks.