AJ-Bench: Avaliação Comparativa do Agente-como-Juiz para Análise Sensível ao Contexto
AJ-Bench: Benchmarking Agent-as-a-Judge for Environment-Aware Evaluation
April 20, 2026
Autores: Wentao Shi, Yu Wang, Yuyang Zhao, Yuxin Chen, Fuli Feng, Xueyuan Hao, Xi Su, Qi Gu, Hui Su, Xunliang Cai, Xiangnan He
cs.AI
Resumo
À medida que o aprendizado por reforço continua a escalar o treinamento de agentes baseados em grandes modelos de linguagem, a verificação confiável de comportamentos de agentes em ambientes complexos tornou-se cada vez mais desafiadora. As abordagens existentes dependem de verificadores baseados em regras ou modelos LLM-como-Juiz, que lutam para generalizar além de domínios restritos. O Agente-como-Juiz aborda esta limitação ao interagir ativamente com ambientes e ferramentas para adquirir evidências verificáveis, embora suas capacidades permaneçam subexploradas.
Apresentamos um benchmark AJ-Bench para avaliar sistematicamente o Agente-como-Juiz em três domínios - busca, sistemas de dados e interfaces gráficas de utilizador - compreendendo 155 tarefas e 516 trajectórias anotadas. O benchmark avalia de forma abrangente as capacidades dos agentes juízes em aquisição de informação, verificação de estado e verificação de processos. Os experimentos demonstram ganhos de desempenho consistentes em relação às linhas de base LLM-como-Juiz, enquanto também revelam desafios substanciais em aberto na verificação baseada em agentes. Nossos dados e código estão disponíveis em https://aj-bench.github.io/.
English
As reinforcement learning continues to scale the training of large language model-based agents, reliably verifying agent behaviors in complex environments has become increasingly challenging. Existing approaches rely on rule-based verifiers or LLM-as-a-Judge models, which struggle to generalize beyond narrow domains. Agent-as-a-Judge addresses this limitation by actively interacting with environments and tools to acquire verifiable evidence, yet its capabilities remain underexplored.
We introduce a benchmark AJ-Bench to systematically evaluate Agent-as-a-Judge across three domains-search, data systems, and graphical user interfaces-comprising 155 tasks and 516 annotated trajectories. The benchmark comprehensively assesses judge agents' abilities in information acquisition, state verification, and process verification. Experiments demonstrate consistent performance gains over LLM-as-a-Judge baselines, while also revealing substantial open challenges in agent-based verification. Our data and code are available at https://aj-bench.github.io/.