AgentJudgeBench: エージェント的ツール呼び出しにおけるLLMジャッジを評価するための多難易度ベンチマーク

要旨

LLMジャッジは、エージェント型ツール呼び出しシステムの評価に広く用いられているが、構造化された依存関係駆動型ワークフローに対するそれらの信頼性はほとんど検証されていない。我々は、オープンエンドなテキスト評価や嗜好評価といったより広範なLLM-as-a-judgeタスクとは区別される、ワークフローDAG上のエージェント型ツール呼び出しに対するLLMジャッジの信頼性を体系的に研究する最初のベンチマークであるAgentJudgeBenchを提示する。本ベンチマークは、6種類のDAGトポロジーと3つの難易度階級にわたる3,808インスタンスで構成され、5つの生成器（3B〜70BのオープンウェイトモデルとGPT-5.4）と6つのジャッジ（20Bからフロンティア規模まで）を用いて、正解付き条件と正解なし条件を対にして評価した。ジャッジのアライメントはタスクの難易度に伴って単調に低下し、正解なし条件ではその低下が1.5倍の速さで進行する。さらに、正解なしの難問クエリでは、6つのジャッジすべてがモデル規模にかかわらず77〜82%という狭い帯域に収束する。これは、主にタスク難易度によって駆動される構造的上限を示しており、その上限の高さは弱い生成器に対しては部分的にプロンプトに依存するものの、モデル容量だけでは克服できない。正解への露出は一律に有益ではない。GPT-5.4ではアライメントを1.5ポイント、Gemini-2.5-Proでは3.9ポイント低下させ、これは過剰アンカリングと整合する。緩和戦略のうち、Chain-of-Thought（CoT）推論とジャッジの温度設定はともに効果が無視できる程度である一方、構造化評価ルーブリックはアライメントを最大6.5ポイント向上させるが、ジャッジ・生成器ペア全体に一様には汎化しない。正解付きの条件では、QwQ-32Bがプログラム的参照評価に最もよく一致し、人間による検証研究ではGPT-OSS-120Bが最も人間の判断に合致するジャッジとして特定される。正解なしの条件では、フロンティアのジャッジは共通の上限内でわずかにリードするにすぎない。これらの結果は、現在のLLMジャッジの根本的な限界を明らかにし、エージェント型システムにおける信頼性の高い評価のための実践的な指針を提供する。

English

LLM judges are widely used to evaluate agentic tool-calling systems, yet their reliability on structured, dependency-driven workflows remains largely unexamined. We present AgentJudgeBench, the first benchmark to systematically study LLM-as-a-judge reliability for agentic tool-calling over workflow DAGs, as distinct from the broader LLM-as-a-judge task of open-ended text or preference evaluation. The benchmark comprises 3,808 instances spanning six DAG topologies and three difficulty tiers, evaluated with five generators (3B-70B open-weight models and GPT-5.4) and six judges (20B to frontier scale) under paired with- and without-ground-truth conditions. Judge alignment degrades monotonically with task difficulty, 1.5x faster without ground truth, and on hard queries without ground truth all six judges converge to a narrow 77-82% band regardless of scale, revealing a structural ceiling driven primarily by task difficulty, though its height is partly prompt-dependent for weaker generators, that model capacity alone cannot overcome. Ground-truth exposure is not uniformly beneficial: it reduces alignment for GPT-5.4 (1.5 pp) and Gemini-2.5-Pro (3.9 pp), consistent with over-anchoring. Among mitigation strategies, chain-of-thought reasoning and judge temperature both have negligible effect, while structured evaluation rubrics improve alignment by up to 6.5 pp but do not generalize uniformly across judge-generator pairs. With ground truth, QwQ-32B best matches the programmatic reference, while a human validation study identifies GPT-OSS-120B as the most human-aligned judge; without it, frontier judges lead only marginally within the shared ceiling. These results expose fundamental limitations of current LLM judges and yield practical guidelines for reliable evaluation in agentic systems.