AJ-Bench: Бенчмаркинг агента-в-роли-судьи для контекстно-зависимой оценки
AJ-Bench: Benchmarking Agent-as-a-Judge for Environment-Aware Evaluation
April 20, 2026
Авторы: Wentao Shi, Yu Wang, Yuyang Zhao, Yuxin Chen, Fuli Feng, Xueyuan Hao, Xi Su, Qi Gu, Hui Su, Xunliang Cai, Xiangnan He
cs.AI
Аннотация
По мере того как обучение с подкреплением продолжает масштабировать тренировку агентов на основе больших языковых моделей, надежная верификация поведения агентов в сложных средах становится все более сложной задачей. Существующие подходы полагаются на основанные на правилах верификаторы или модели LLM-as-a-Judge, которые плохо обобщаются за пределы узких предметных областей. Метод Agent-as-a-Judge преодолевает это ограничение, активно взаимодействуя со средами и инструментами для получения проверяемых доказательств, однако его возможности остаются недостаточно изученными.
Мы представляем бенчмарк AJ-Bench для систематической оценки метода Agent-as-a-Judge в трех областях — поиске, системах данных и графических пользовательских интерфейсах — включающий 155 задач и 516 размеченных траекторий. Бенчмарк комплексно оценивает способности агентов-судей в приобретении информации, верификации состояния и верификации процессов. Эксперименты демонстрируют стабильное превосходство над базовыми методами LLM-as-a-Judge, одновременно выявляя существенные нерешенные проблемы в агентной верификации. Наши данные и код доступны по адресу https://aj-bench.github.io/.
English
As reinforcement learning continues to scale the training of large language model-based agents, reliably verifying agent behaviors in complex environments has become increasingly challenging. Existing approaches rely on rule-based verifiers or LLM-as-a-Judge models, which struggle to generalize beyond narrow domains. Agent-as-a-Judge addresses this limitation by actively interacting with environments and tools to acquire verifiable evidence, yet its capabilities remain underexplored.
We introduce a benchmark AJ-Bench to systematically evaluate Agent-as-a-Judge across three domains-search, data systems, and graphical user interfaces-comprising 155 tasks and 516 annotated trajectories. The benchmark comprehensively assesses judge agents' abilities in information acquisition, state verification, and process verification. Experiments demonstrate consistent performance gains over LLM-as-a-Judge baselines, while also revealing substantial open challenges in agent-based verification. Our data and code are available at https://aj-bench.github.io/.