A Ilusão dos Retornos Decrescentes: Medindo a Execução de Longo Prazo em LLMs

Resumo

A expansão contínua de modelos de linguagem de grande escala (LLMs) resulta em retornos decrescentes? O valor no mundo real frequentemente deriva da extensão da tarefa que um agente pode completar. Iniciamos este trabalho observando o fato simples, mas contraintuitivo, de que ganhos marginais na precisão de uma única etapa podem se transformar em melhorias exponenciais na extensão de uma tarefa que um modelo pode concluir com sucesso. Em seguida, argumentamos que as falhas dos LLMs quando tarefas simples são prolongadas surgem de erros de execução, e não de uma incapacidade de raciocinar. Propomos isolar a capacidade de execução, fornecendo explicitamente o conhecimento e o plano necessários para resolver uma tarefa de longo horizonte. Descobrimos que modelos maiores podem executar corretamente um número significativamente maior de etapas, mesmo quando modelos menores têm 100% de precisão em uma única etapa. Observamos que a precisão por etapa dos modelos se degrada à medida que o número de etapas aumenta. Isso não se deve apenas às limitações de contexto longo — curiosamente, observamos um efeito de autocondicionamento — os modelos tornam-se mais propensos a cometer erros quando o contexto contém seus erros de etapas anteriores. O autocondicionamento não é reduzido apenas pelo aumento do tamanho do modelo. Em contraste, modelos recentes de pensamento não se autocondicionam e também podem executar tarefas muito mais longas em uma única etapa. Concluímos avaliando modelos de pensamento de fronteira na extensão da tarefa que podem executar em uma única etapa. No geral, ao focar na capacidade de execução, esperamos reconciliar debates sobre como os LLMs podem resolver problemas complexos de raciocínio, mas falham em tarefas simples quando prolongadas, e destacar os enormes benefícios de escalar o tamanho do modelo e o cálculo sequencial em tempo de teste para tarefas de longo horizonte.

English

Does continued scaling of large language models (LLMs) yield diminishing returns? Real-world value often stems from the length of task an agent can complete. We start this work by observing the simple but counterintuitive fact that marginal gains in single-step accuracy can compound into exponential improvements in the length of a task a model can successfully complete. Then, we argue that failures of LLMs when simple tasks are made longer arise from mistakes in execution, rather than an inability to reason. We propose isolating execution capability, by explicitly providing the knowledge and plan needed to solve a long-horizon task. We find that larger models can correctly execute significantly more turns even when small models have 100\% single-turn accuracy. We observe that the per-step accuracy of models degrades as the number of steps increases. This is not just due to long-context limitations -- curiously, we observe a self-conditioning effect -- models become more likely to make mistakes when the context contains their errors from prior turns. Self-conditioning does not reduce by just scaling the model size. In contrast, recent thinking models do not self-condition, and can also execute much longer tasks in a single turn. We conclude by benchmarking frontier thinking models on the length of task they can execute in a single turn. Overall, by focusing on the ability to execute, we hope to reconcile debates on how LLMs can solve complex reasoning problems yet fail at simple tasks when made longer, and highlight the massive benefits of scaling model size and sequential test-time compute for long-horizon tasks.

A Ilusão dos Retornos Decrescentes: Medindo a Execução de Longo Prazo em LLMs

The Illusion of Diminishing Returns: Measuring Long Horizon Execution in LLMs

Resumo

Support