AgentRewardBench: Оценка автоматических методов анализа траекторий веб-агентов

AgentRewardBench: Evaluating Automatic Evaluations of Web Agent Trajectories

April 11, 2025

Авторы: Xing Han Lù, Amirhossein Kazemnejad, Nicholas Meade, Arkil Patel, Dongchan Shin, Alejandra Zambrano, Karolina Stańczak, Peter Shaw, Christopher J. Pal, Siva Reddy

cs.AI

Аннотация

Веб-агенты позволяют пользователям выполнять задачи в веб-браузерах через взаимодействие на естественном языке. Оценка траекторий веб-агентов является важной задачей, так как она помогает определить, успешно ли агент выполнил поставленные задачи. Для этой цели широко используются методы, основанные на правилах, однако их сложно адаптировать к новым задачам, и они не всегда могут распознать успешные траектории. Более высокой точности можно достичь с помощью экспертной оценки, но этот процесс значительно медленнее и дороже. Автоматическая оценка с использованием крупных языковых моделей (LLM) может избежать сложностей, связанных с разработкой новых правил и ручной аннотацией траекторий, обеспечивая более быструю и экономичную оценку. Однако остается неясным, насколько эффективны такие методы для оценки веб-агентов. В связи с этим мы представляем AgentRewardBench — первый бенчмарк для оценки эффективности LLM в качестве судей для веб-агентов. AgentRewardBench содержит 1302 траектории из 5 бенчмарков и 4 LLM. Каждая траектория в AgentRewardBench проверяется экспертом, который отвечает на вопросы, касающиеся успешности, побочных эффектов и повторяемости действий агента. Используя наш бенчмарк, мы оцениваем 12 LLM-судей и обнаруживаем, что ни одна из моделей не превосходит остальные по всем бенчмаркам. Мы также выясняем, что оценка на основе правил, используемая в распространенных бенчмарках, склонна занижать уровень успешности веб-агентов, что подчеркивает ключевой недостаток такого подхода и необходимость разработки более гибких методов автоматической оценки. Бенчмарк доступен по адресу: https://agent-reward-bench.github.io.

English

Web agents enable users to perform tasks on web browsers through natural language interaction. Evaluating web agents trajectories is an important problem, since it helps us determine whether the agent successfully completed the tasks. Rule-based methods are widely used for this purpose, but they are challenging to extend to new tasks and may not always recognize successful trajectories. We may achieve higher accuracy through human evaluation, but the process would be substantially slower and more expensive. Automatic evaluations with LLMs may avoid the challenges of designing new rules and manually annotating trajectories, enabling faster and cost-effective evaluation. However, it is unclear how effective they are at evaluating web agents. To this end, we propose AgentRewardBench, the first benchmark to assess the effectiveness of LLM judges for evaluating web agents. AgentRewardBench contains 1302 trajectories across 5 benchmarks and 4 LLMs. Each trajectory in AgentRewardBench is reviewed by an expert, who answers questions pertaining to the success, side effects, and repetitiveness of the agent. Using our benchmark, we evaluate 12 LLM judges and find that no single LLM excels across all benchmarks. We also find that the rule-based evaluation used by common benchmarks tends to underreport the success rate of web agents, highlighting a key weakness of rule-based evaluation and the need to develop more flexible automatic evaluations. We release the benchmark at: https://agent-reward-bench.github.io