収穫逓減の錯覚：LLMにおける長期実行の測定

要旨

大規模言語モデル（LLMs）の継続的なスケーリングは、収穫逓減をもたらすのか？現実世界での価値は、エージェントが完了できるタスクの長さに由来することが多い。本論文では、単一ステップの精度における限界的な向上が、モデルが成功裏に完了できるタスクの長さにおいて指数関数的な改善に繋がるという、単純ながらも直感に反する事実を観察することから始める。次に、単純なタスクが長くなった際のLLMsの失敗は、推論能力の欠如ではなく、実行におけるミスに起因することを論じる。我々は、長期的なタスクを解決するために必要な知識と計画を明示的に提供することで、実行能力を分離することを提案する。その結果、小規模なモデルが単一ターンで100%の精度を達成している場合でも、より大規模なモデルが有意に多くのターンを正しく実行できることを発見した。また、モデルのステップごとの精度は、ステップ数が増加するにつれて低下することを観察した。これは単に長文脈の制限によるものではない――興味深いことに、自己条件付け効果が観察され、文脈に以前のターンでの誤りが含まれている場合、モデルがミスを犯す可能性が高くなる。自己条件付けは、モデルサイズをスケーリングするだけでは減少しない。対照的に、最近の思考モデルは自己条件付けを行わず、また単一ターンでより長いタスクを実行できる。最後に、フロンティア思考モデルが単一ターンで実行できるタスクの長さをベンチマークすることで結論を導く。全体として、実行能力に焦点を当てることで、LLMsが複雑な推論問題を解決できる一方で、単純なタスクが長くなると失敗する理由についての議論を調和させ、長期的なタスクにおけるモデルサイズと逐次的なテストタイム計算のスケーリングの多大な利点を強調することを目指す。

English

Does continued scaling of large language models (LLMs) yield diminishing returns? Real-world value often stems from the length of task an agent can complete. We start this work by observing the simple but counterintuitive fact that marginal gains in single-step accuracy can compound into exponential improvements in the length of a task a model can successfully complete. Then, we argue that failures of LLMs when simple tasks are made longer arise from mistakes in execution, rather than an inability to reason. We propose isolating execution capability, by explicitly providing the knowledge and plan needed to solve a long-horizon task. We find that larger models can correctly execute significantly more turns even when small models have 100\% single-turn accuracy. We observe that the per-step accuracy of models degrades as the number of steps increases. This is not just due to long-context limitations -- curiously, we observe a self-conditioning effect -- models become more likely to make mistakes when the context contains their errors from prior turns. Self-conditioning does not reduce by just scaling the model size. In contrast, recent thinking models do not self-condition, and can also execute much longer tasks in a single turn. We conclude by benchmarking frontier thinking models on the length of task they can execute in a single turn. Overall, by focusing on the ability to execute, we hope to reconcile debates on how LLMs can solve complex reasoning problems yet fail at simple tasks when made longer, and highlight the massive benefits of scaling model size and sequential test-time compute for long-horizon tasks.

収穫逓減の錯覚：LLMにおける長期実行の測定

The Illusion of Diminishing Returns: Measuring Long Horizon Execution in LLMs

要旨

Support