L'illusione dei rendimenti decrescenti: Misurare l'esecuzione a lungo termine nei modelli linguistici di grandi dimensioni

The Illusion of Diminishing Returns: Measuring Long Horizon Execution in LLMs

September 11, 2025

Autori: Akshit Sinha, Arvindh Arun, Shashwat Goel, Steffen Staab, Jonas Geiping

cs.AI

Abstract

Lo scaling continuo dei grandi modelli linguistici (LLM) produce rendimenti decrescenti? Il valore nel mondo reale spesso deriva dalla lunghezza del compito che un agente può completare. Iniziamo questo lavoro osservando il fatto semplice ma controintuitivo che i guadagni marginali nell'accuratezza a singolo passo possono comporsi in miglioramenti esponenziali nella lunghezza del compito che un modello può completare con successo. Poi, sosteniamo che i fallimenti degli LLM quando compiti semplici vengono resi più lunghi derivano da errori di esecuzione, piuttosto che dall'incapacità di ragionare. Proponiamo di isolare la capacità di esecuzione, fornendo esplicitamente la conoscenza e il piano necessari per risolvere un compito a lungo termine. Scopriamo che i modelli più grandi possono eseguire correttamente un numero significativamente maggiore di passaggi anche quando i modelli più piccoli hanno un'accuratezza del 100% a singolo passo. Osserviamo che l'accuratezza per passo dei modelli si degrada all'aumentare del numero di passaggi. Questo non è dovuto solo alle limitazioni del contesto lungo -- curiosamente, osserviamo un effetto di auto-condizionamento -- i modelli diventano più propensi a commettere errori quando il contesto contiene i loro errori dai passaggi precedenti. L'auto-condizionamento non si riduce semplicemente aumentando le dimensioni del modello. Al contrario, i recenti modelli di pensiero non si auto-condizionano e possono anche eseguire compiti molto più lunghi in un singolo passo. Concludiamo eseguendo benchmark sui modelli di pensiero all'avanguardia sulla lunghezza del compito che possono eseguire in un singolo passo. Nel complesso, concentrandoci sulla capacità di esecuzione, speriamo di riconciliare i dibattiti su come gli LLM possano risolvere problemi di ragionamento complessi ma fallire in compiti semplici quando resi più lunghi, e di evidenziare i massicci benefici dello scaling delle dimensioni del modello e del calcolo sequenziale al momento del test per compiti a lungo termine.

English

Does continued scaling of large language models (LLMs) yield diminishing returns? Real-world value often stems from the length of task an agent can complete. We start this work by observing the simple but counterintuitive fact that marginal gains in single-step accuracy can compound into exponential improvements in the length of a task a model can successfully complete. Then, we argue that failures of LLMs when simple tasks are made longer arise from mistakes in execution, rather than an inability to reason. We propose isolating execution capability, by explicitly providing the knowledge and plan needed to solve a long-horizon task. We find that larger models can correctly execute significantly more turns even when small models have 100\% single-turn accuracy. We observe that the per-step accuracy of models degrades as the number of steps increases. This is not just due to long-context limitations -- curiously, we observe a self-conditioning effect -- models become more likely to make mistakes when the context contains their errors from prior turns. Self-conditioning does not reduce by just scaling the model size. In contrast, recent thinking models do not self-condition, and can also execute much longer tasks in a single turn. We conclude by benchmarking frontier thinking models on the length of task they can execute in a single turn. Overall, by focusing on the ability to execute, we hope to reconcile debates on how LLMs can solve complex reasoning problems yet fail at simple tasks when made longer, and highlight the massive benefits of scaling model size and sequential test-time compute for long-horizon tasks.