Web-Shepherd: Fortschritte bei PRMs zur Stärkung von Web-Agenten

Web-Shepherd: Advancing PRMs for Reinforcing Web Agents

May 21, 2025

Autoren: Hyungjoo Chae, Sunghwan Kim, Junhee Cho, Seungone Kim, Seungjun Moon, Gyeom Hwangbo, Dongha Lim, Minjin Kim, Yeonjun Hwang, Minju Gwak, Dongwook Choi, Minseok Kang, Gwanhoon Im, ByeongUng Cho, Hyojun Kim, Jun Hee Han, Taeyoon Kwon, Minju Kim, Beong-woo Kwak, Dongjin Kang, Jinyoung Yeo

cs.AI

Zusammenfassung

Web-Navigation ist ein einzigartiges Anwendungsgebiet, das viele repetitive Aufgaben des realen Lebens automatisieren kann und gleichzeitig eine Herausforderung darstellt, da es langfristige sequenzielle Entscheidungsfindung erfordert, die über typische Aufgaben multimodaler großer Sprachmodelle (MLLMs) hinausgeht. Dennoch gab es bislang keine spezialisierten Belohnungsmodelle für Web-Navigation, die sowohl während des Trainings als auch zur Testzeit eingesetzt werden können. Trotz der Bedeutung von Geschwindigkeit und Kosteneffizienz haben frühere Arbeiten MLLMs als Belohnungsmodelle verwendet, was erhebliche Einschränkungen für den realen Einsatz mit sich bringt. Um dies zu adressieren, schlagen wir in dieser Arbeit das erste Prozess-Belohnungsmodell (PRM) namens Web-Shepherd vor, das Web-Navigationspfade auf Schrittebene bewerten kann. Um dies zu erreichen, erstellen wir zunächst die WebPRM Collection, einen umfangreichen Datensatz mit 40.000 Schritt-für-Schritt-Präferenzpaaren und annotierten Checklisten, die verschiedene Domänen und Schwierigkeitsgrade abdecken. Darüber hinaus führen wir WebRewardBench ein, den ersten Meta-Evaluierungs-Benchmark zur Bewertung von PRMs. In unseren Experimenten beobachten wir, dass unser Web-Shepherd im Vergleich zur Verwendung von GPT-4o auf WebRewardBench eine um etwa 30 Punkte bessere Genauigkeit erzielt. Des Weiteren erreichen wir bei Tests auf WebArena-lite, bei denen GPT-4o-mini als Policy und Web-Shepherd als Verifizierer eingesetzt wird, eine um 10,9 Punkte bessere Leistung bei 10 % geringeren Kosten im Vergleich zur Verwendung von GPT-4o-mini als Verifizierer. Unser Modell, der Datensatz und der Code sind öffentlich unter LINK verfügbar.

English

Web navigation is a unique domain that can automate many repetitive real-life tasks and is challenging as it requires long-horizon sequential decision making beyond typical multimodal large language model (MLLM) tasks. Yet, specialized reward models for web navigation that can be utilized during both training and test-time have been absent until now. Despite the importance of speed and cost-effectiveness, prior works have utilized MLLMs as reward models, which poses significant constraints for real-world deployment. To address this, in this work, we propose the first process reward model (PRM) called Web-Shepherd which could assess web navigation trajectories in a step-level. To achieve this, we first construct the WebPRM Collection, a large-scale dataset with 40K step-level preference pairs and annotated checklists spanning diverse domains and difficulty levels. Next, we also introduce the WebRewardBench, the first meta-evaluation benchmark for evaluating PRMs. In our experiments, we observe that our Web-Shepherd achieves about 30 points better accuracy compared to using GPT-4o on WebRewardBench. Furthermore, when testing on WebArena-lite by using GPT-4o-mini as the policy and Web-Shepherd as the verifier, we achieve 10.9 points better performance, in 10 less cost compared to using GPT-4o-mini as the verifier. Our model, dataset, and code are publicly available at LINK.