Web-Shepherd: Vooruitgang in PRM's voor het Versterken van Webagentschappen

Web-Shepherd: Advancing PRMs for Reinforcing Web Agents

May 21, 2025

Auteurs: Hyungjoo Chae, Sunghwan Kim, Junhee Cho, Seungone Kim, Seungjun Moon, Gyeom Hwangbo, Dongha Lim, Minjin Kim, Yeonjun Hwang, Minju Gwak, Dongwook Choi, Minseok Kang, Gwanhoon Im, ByeongUng Cho, Hyojun Kim, Jun Hee Han, Taeyoon Kwon, Minju Kim, Beong-woo Kwak, Dongjin Kang, Jinyoung Yeo

cs.AI

Samenvatting

Webnavigatie is een uniek domein dat veel repetitieve taken uit het echte leven kan automatiseren en uitdagend is omdat het langetermijnsequentieel besluitvorming vereist die verder gaat dan typische multimodale grote taalmodellen (MLLM)-taken. Toch zijn er tot nu toe gespecialiseerde beloningsmodellen voor webnavigatie ontbrekend die zowel tijdens de training als tijdens de testfase kunnen worden gebruikt. Ondanks het belang van snelheid en kosteneffectiviteit hebben eerdere werken MLLM's gebruikt als beloningsmodellen, wat aanzienlijke beperkingen oplevert voor implementatie in de praktijk. Om dit aan te pakken, stellen we in dit werk het eerste procesbeloningsmodel (PRM) voor, genaamd Web-Shepherd, dat webnavigatietrajecten op stapniveau kan beoordelen. Om dit te bereiken, construeren we eerst de WebPRM Collection, een grootschalige dataset met 40K stapniveau voorkeursparen en geannoteerde checklists die diverse domeinen en moeilijkheidsgraden omvatten. Vervolgens introduceren we ook de WebRewardBench, de eerste meta-evaluatiebenchmark voor het evalueren van PRM's. In onze experimenten observeren we dat onze Web-Shepherd ongeveer 30 punten betere nauwkeurigheid bereikt in vergelijking met het gebruik van GPT-4o op WebRewardBench. Bovendien behalen we bij het testen op WebArena-lite, waarbij GPT-4o-mini als beleid en Web-Shepherd als verifier wordt gebruikt, 10,9 punten betere prestaties tegen 10 minder kosten in vergelijking met het gebruik van GPT-4o-mini als verifier. Ons model, dataset en code zijn publiekelijk beschikbaar op LINK.

English

Web navigation is a unique domain that can automate many repetitive real-life tasks and is challenging as it requires long-horizon sequential decision making beyond typical multimodal large language model (MLLM) tasks. Yet, specialized reward models for web navigation that can be utilized during both training and test-time have been absent until now. Despite the importance of speed and cost-effectiveness, prior works have utilized MLLMs as reward models, which poses significant constraints for real-world deployment. To address this, in this work, we propose the first process reward model (PRM) called Web-Shepherd which could assess web navigation trajectories in a step-level. To achieve this, we first construct the WebPRM Collection, a large-scale dataset with 40K step-level preference pairs and annotated checklists spanning diverse domains and difficulty levels. Next, we also introduce the WebRewardBench, the first meta-evaluation benchmark for evaluating PRMs. In our experiments, we observe that our Web-Shepherd achieves about 30 points better accuracy compared to using GPT-4o on WebRewardBench. Furthermore, when testing on WebArena-lite by using GPT-4o-mini as the policy and Web-Shepherd as the verifier, we achieve 10.9 points better performance, in 10 less cost compared to using GPT-4o-mini as the verifier. Our model, dataset, and code are publicly available at LINK.