EarlyEval: 早期結果予測による低コストなエージェント評価

EarlyEval: Cheaper Agent Evaluation via Early Outcome Prediction

September 2, 2026

著者: Yuling Shi, Zhensu Sun, Junsen Dong, Chengcheng Wan, David Lo, Xiaodong Gu

cs.AI

要旨

LLMエージェントの評価は、その開発を導くために不可欠であるが、そのコストは法外なまでに高騰している。フロンティアモデルをエージェントベンチマークに1回通すだけで数百〜数千ドルを要し、このコストは反復的な開発サイクルを通じて繰り返し支払われる。従来の取り組みはベンチマーク蒸留を中心として評価タスクの数を減らすものの、保持された各タスクの実行コストには手を付けていない。本研究では、これとは相補的な効率化の軸として早期結果予測を導入する。これは、各タスクの内部でコストを削減するアプローチである。我々の重要な洞察は、エージェントの最終結果は、実行が完了するはるか前に、その途中の振る舞いから明らかになることが多いという点にある。このアイデアを、EarlyEvalという軽量フレームワークとして具体化した。EarlyEvalは、行動・テキスト・参照解の特徴量に基づいてLightGBMによる成功分類器と失敗分類器のペアを訓練し、いずれかの分類器が較正済みの信頼度閾値を超えた瞬間にエージェントの実行を停止する。ステップごとの追加オーバーヘッドは無視できるほど小さい。SWE-bench Verified、TerminalBench、Toolathlonの3つのベンチマークにわたって、EarlyEvalは89%〜97%の予測精度で、エージェントのステップの13%〜26%を削減し、入力トークンを最大44.1%、出力トークンを最大29.4%削減できる。その一方で、エージェントごとの解決率への影響は平均でわずか1〜2パーセントポイントにとどまる。

English

Evaluating LLM agents is essential for guiding their development, yet it has grown prohibitively expensive: a single pass of a frontier model over an agentic benchmark can cost hundreds to thousands of dollars, a price paid repeatedly across iterative development cycles. Prior efforts, centered on benchmark distillation, reduce the number of evaluation tasks but leave the cost of executing each retained task untouched. In this work, we introduce early outcome prediction, a complementary axis of efficiency that instead cuts cost within each task. Our key insight is that an agent's final outcome is often evident from its intermediate behavior well before execution completes. We instantiate this idea in EarlyEval, a lightweight framework that trains a pair of LightGBM success and failure classifiers over behavioral, textual, and reference-solution features, and halts an agent run the moment either classifier crosses a calibrated confidence threshold, adding negligible per-step overhead. Across three benchmarks, SWE-bench Verified, TerminalBench, and Toolathlon, EarlyEval can eliminate 13%-26% of agent steps and up to 44.1% input tokens and 29.4% output tokens at 89%-97% prediction accuracy, while perturbing per-agent resolve rates by only one to two percentage points on average.