Иллюзия убывающей отдачи: измерение выполнения задач на длинных горизонтах в языковых моделях

The Illusion of Diminishing Returns: Measuring Long Horizon Execution in LLMs

September 11, 2025

Авторы: Akshit Sinha, Arvindh Arun, Shashwat Goel, Steffen Staab, Jonas Geiping

cs.AI

Аннотация

Приводит ли дальнейшее масштабирование больших языковых моделей (LLM) к уменьшению отдачи? Реальная ценность часто зависит от длины задачи, которую агент может выполнить. Мы начинаем эту работу с наблюдения простого, но неочевидного факта: маргинальные улучшения в точности на одном шаге могут привести к экспоненциальному увеличению длины задачи, которую модель может успешно завершить. Затем мы утверждаем, что ошибки LLM при увеличении длины простых задач возникают из-за ошибок в исполнении, а не из-за неспособности к рассуждению. Мы предлагаем изолировать способность к исполнению, явно предоставляя знания и план, необходимые для решения задачи с длительным горизонтом. Мы обнаруживаем, что более крупные модели могут корректно выполнять значительно больше шагов, даже если маленькие модели имеют 100% точность на одном шаге. Мы наблюдаем, что точность моделей на каждом шаге снижается по мере увеличения количества шагов. Это связано не только с ограничениями длинного контекста — любопытно, что мы наблюдаем эффект самокондиционирования: модели становятся более склонны к ошибкам, когда контекст содержит их ошибки из предыдущих шагов. Самокондиционирование не уменьшается просто за счет масштабирования размера модели. В отличие от этого, современные модели мышления не подвержены самокондиционированию и могут выполнять гораздо более длинные задачи за один шаг. В заключение мы проводим бенчмаркинг передовых моделей мышления на длину задачи, которую они могут выполнить за один шаг. В целом, сосредоточившись на способности к исполнению, мы надеемся примирить дебаты о том, как LLM могут решать сложные задачи рассуждения, но терпят неудачу в простых задачах при их удлинении, и подчеркнуть огромные преимущества масштабирования размера модели и последовательных вычислений во время тестирования для задач с длительным горизонтом.

English

Does continued scaling of large language models (LLMs) yield diminishing returns? Real-world value often stems from the length of task an agent can complete. We start this work by observing the simple but counterintuitive fact that marginal gains in single-step accuracy can compound into exponential improvements in the length of a task a model can successfully complete. Then, we argue that failures of LLMs when simple tasks are made longer arise from mistakes in execution, rather than an inability to reason. We propose isolating execution capability, by explicitly providing the knowledge and plan needed to solve a long-horizon task. We find that larger models can correctly execute significantly more turns even when small models have 100\% single-turn accuracy. We observe that the per-step accuracy of models degrades as the number of steps increases. This is not just due to long-context limitations -- curiously, we observe a self-conditioning effect -- models become more likely to make mistakes when the context contains their errors from prior turns. Self-conditioning does not reduce by just scaling the model size. In contrast, recent thinking models do not self-condition, and can also execute much longer tasks in a single turn. We conclude by benchmarking frontier thinking models on the length of task they can execute in a single turn. Overall, by focusing on the ability to execute, we hope to reconcile debates on how LLMs can solve complex reasoning problems yet fail at simple tasks when made longer, and highlight the massive benefits of scaling model size and sequential test-time compute for long-horizon tasks.