AgentJudgeBench: 에이전트형 도구 호출 환경에서 LLM 평가자를 검증하기 위한 다중 난이도 벤치마크

초록

LLM 판정자는 에이전트형 도구 호출 시스템을 평가하는 데 널리 사용되지만, 구조화되고 의존성 기반으로 동작하는 워크플로우에서의 신뢰성은 거의 검토되지 않았다. 본 논문은 개방형 텍스트 평가나 선호도 평가라는 포괄적인 LLM-as-a-judge 작업과 구별하여, 워크플로우 DAG에 대한 에이전트형 도구 호출 평가에서 LLM-as-a-judge의 신뢰성을 체계적으로 연구하는 최초의 벤치마크인 AgentJudgeBench를 제시한다. 이 벤치마크는 여섯 가지 DAG 토폴로지와 세 가지 난이도 수준에 걸친 3,808개 인스턴스로 구성되며, 다섯 개의 생성기(3B~70B 오픈 가중치 모델 및 GPT-5.4)와 여섯 개의 판정자(20B~프런티어 규모)를 정답 제공 조건 및 비제공 조건을 짝지은 환경에서 평가한다. 판정자의 정렬도는 작업 난이도가 높아질수록 단조적으로 저하되며, 정답이 없을 때는 저하 속도가 1.5배 빨라진다. 정답이 없는 어려운 쿼리에서는 여섯 판정자 모두 모델 규모와 무관하게 77~82%의 좁은 범위로 수렴하는데, 이는 주로 작업 난이도에 의해 결정되는 구조적 상한을 드러낸다. 다만 이 상한의 높이는 약한 생성기의 경우 일부 프롬프트 의존적이며, 모델 용량만으로는 극복할 수 없다. 정답 노출이 항상 유익한 것은 아니다. GPT-5.4에서는 1.5%p, Gemini-2.5-Pro에서는 3.9%p의 정렬도 감소가 나타나며, 이는 과잉 앵커링(over-anchoring)과 일치한다. 완화 전략 중 사고 사슬 추론과 판정자 온도는 모두 효과가 미미한 반면, 구조화된 평가 루브릭은 정렬도를 최대 6.5%p 향상시키지만 판정자-생성기 쌍에 걸쳐 균일하게 일반화되지는 않는다. 정답이 있는 조건에서는 QwQ-32B가 프로그램 기반 참조와 가장 잘 일치했으며, 인간 검증 연구에서는 GPT-OSS-120B가 가장 인간과 정렬된 판정자로 확인되었다. 정답이 없는 조건에서는 프런티어 판정자들이 공통 상한 내에서 근소한 우위만 보인다. 이러한 결과는 현재 LLM 판정자의 근본적 한계를 드러내며, 에이전트형 시스템의 신뢰할 수 있는 평가를 위한 실용적 지침을 제공한다.

English

LLM judges are widely used to evaluate agentic tool-calling systems, yet their reliability on structured, dependency-driven workflows remains largely unexamined. We present AgentJudgeBench, the first benchmark to systematically study LLM-as-a-judge reliability for agentic tool-calling over workflow DAGs, as distinct from the broader LLM-as-a-judge task of open-ended text or preference evaluation. The benchmark comprises 3,808 instances spanning six DAG topologies and three difficulty tiers, evaluated with five generators (3B-70B open-weight models and GPT-5.4) and six judges (20B to frontier scale) under paired with- and without-ground-truth conditions. Judge alignment degrades monotonically with task difficulty, 1.5x faster without ground truth, and on hard queries without ground truth all six judges converge to a narrow 77-82% band regardless of scale, revealing a structural ceiling driven primarily by task difficulty, though its height is partly prompt-dependent for weaker generators, that model capacity alone cannot overcome. Ground-truth exposure is not uniformly beneficial: it reduces alignment for GPT-5.4 (1.5 pp) and Gemini-2.5-Pro (3.9 pp), consistent with over-anchoring. Among mitigation strategies, chain-of-thought reasoning and judge temperature both have negligible effect, while structured evaluation rubrics improve alignment by up to 6.5 pp but do not generalize uniformly across judge-generator pairs. With ground truth, QwQ-32B best matches the programmatic reference, while a human validation study identifies GPT-OSS-120B as the most human-aligned judge; without it, frontier judges lead only marginally within the shared ceiling. These results expose fundamental limitations of current LLM judges and yield practical guidelines for reliable evaluation in agentic systems.