AgentRewardBench: Het evalueren van automatische evaluaties van webagent-trajecten

AgentRewardBench: Evaluating Automatic Evaluations of Web Agent Trajectories

April 11, 2025

Auteurs: Xing Han Lù, Amirhossein Kazemnejad, Nicholas Meade, Arkil Patel, Dongchan Shin, Alejandra Zambrano, Karolina Stańczak, Peter Shaw, Christopher J. Pal, Siva Reddy

cs.AI

Samenvatting

Webagents stellen gebruikers in staat om taken uit te voeren in webbrowsers via natuurlijke taalinteractie. Het evalueren van de trajecten van webagents is een belangrijk probleem, omdat het ons helpt te bepalen of de agent de taken succesvol heeft voltooid. Op regels gebaseerde methoden worden hiervoor veel gebruikt, maar ze zijn moeilijk uit te breiden naar nieuwe taken en herkennen mogelijk niet altijd succesvolle trajecten. We kunnen een hogere nauwkeurigheid bereiken door menselijke evaluatie, maar het proces zou aanzienlijk langzamer en duurder zijn. Automatische evaluaties met LLM's kunnen de uitdagingen van het ontwerpen van nieuwe regels en het handmatig annoteren van trajecten vermijden, waardoor snellere en kosteneffectieve evaluatie mogelijk wordt. Het is echter onduidelijk hoe effectief ze zijn bij het evalueren van webagents. Daarom stellen we AgentRewardBench voor, de eerste benchmark om de effectiviteit van LLM-beoordelaars voor het evalueren van webagents te beoordelen. AgentRewardBench bevat 1302 trajecten over 5 benchmarks en 4 LLM's. Elk traject in AgentRewardBench wordt beoordeeld door een expert, die vragen beantwoord over het succes, de neveneffecten en de herhaling van de agent. Met behulp van onze benchmark evalueren we 12 LLM-beoordelaars en concluderen we dat geen enkele LLM uitblinkt over alle benchmarks. We ontdekken ook dat de op regels gebaseerde evaluatie die door veelgebruikte benchmarks wordt gebruikt, de slagingskans van webagents vaak onderschat, wat een belangrijk zwak punt van op regels gebaseerde evaluatie benadrukt en de noodzaak aantoont om flexibelere automatische evaluaties te ontwikkelen. We publiceren de benchmark op: https://agent-reward-bench.github.io.

English

Web agents enable users to perform tasks on web browsers through natural language interaction. Evaluating web agents trajectories is an important problem, since it helps us determine whether the agent successfully completed the tasks. Rule-based methods are widely used for this purpose, but they are challenging to extend to new tasks and may not always recognize successful trajectories. We may achieve higher accuracy through human evaluation, but the process would be substantially slower and more expensive. Automatic evaluations with LLMs may avoid the challenges of designing new rules and manually annotating trajectories, enabling faster and cost-effective evaluation. However, it is unclear how effective they are at evaluating web agents. To this end, we propose AgentRewardBench, the first benchmark to assess the effectiveness of LLM judges for evaluating web agents. AgentRewardBench contains 1302 trajectories across 5 benchmarks and 4 LLMs. Each trajectory in AgentRewardBench is reviewed by an expert, who answers questions pertaining to the success, side effects, and repetitiveness of the agent. Using our benchmark, we evaluate 12 LLM judges and find that no single LLM excels across all benchmarks. We also find that the rule-based evaluation used by common benchmarks tends to underreport the success rate of web agents, highlighting a key weakness of rule-based evaluation and the need to develop more flexible automatic evaluations. We release the benchmark at: https://agent-reward-bench.github.io