Web-Shepherd: Avanzamento dei PRM per il rafforzamento degli agenti web
Web-Shepherd: Advancing PRMs for Reinforcing Web Agents
May 21, 2025
Autori: Hyungjoo Chae, Sunghwan Kim, Junhee Cho, Seungone Kim, Seungjun Moon, Gyeom Hwangbo, Dongha Lim, Minjin Kim, Yeonjun Hwang, Minju Gwak, Dongwook Choi, Minseok Kang, Gwanhoon Im, ByeongUng Cho, Hyojun Kim, Jun Hee Han, Taeyoon Kwon, Minju Kim, Beong-woo Kwak, Dongjin Kang, Jinyoung Yeo
cs.AI
Abstract
La navigazione web è un dominio unico che può automatizzare molti compiti ripetitivi della vita reale e rappresenta una sfida in quanto richiede un processo decisionale sequenziale a lungo termine che va oltre i tipici compiti dei modelli linguistici multimodali di grandi dimensioni (MLLM). Tuttavia, fino ad ora sono mancati modelli di ricompensa specializzati per la navigazione web che possano essere utilizzati sia durante l'addestramento che in fase di test. Nonostante l'importanza della velocità e della convenienza economica, i lavori precedenti hanno utilizzato MLLM come modelli di ricompensa, il che pone significativi vincoli per il dispiegamento nel mondo reale. Per affrontare questo problema, in questo lavoro proponiamo il primo modello di ricompensa basato sul processo (PRM), chiamato Web-Shepherd, in grado di valutare le traiettorie di navigazione web a livello di singolo passo. Per raggiungere questo obiettivo, abbiamo prima costruito la WebPRM Collection, un dataset su larga scala con 40K coppie di preferenze a livello di passo e checklist annotate che coprono diversi domini e livelli di difficoltà. Successivamente, introduciamo anche WebRewardBench, il primo benchmark di meta-valutazione per la valutazione dei PRM. Nei nostri esperimenti, osserviamo che il nostro Web-Shepherd raggiunge un'accuratezza di circa 30 punti migliore rispetto all'uso di GPT-4o su WebRewardBench. Inoltre, testando su WebArena-lite utilizzando GPT-4o-mini come policy e Web-Shepherd come verificatore, otteniamo un miglioramento di 10,9 punti, con un costo inferiore di 10 rispetto all'uso di GPT-4o-mini come verificatore. Il nostro modello, dataset e codice sono disponibili pubblicamente al LINK.
English
Web navigation is a unique domain that can automate many repetitive real-life
tasks and is challenging as it requires long-horizon sequential decision making
beyond typical multimodal large language model (MLLM) tasks. Yet, specialized
reward models for web navigation that can be utilized during both training and
test-time have been absent until now. Despite the importance of speed and
cost-effectiveness, prior works have utilized MLLMs as reward models, which
poses significant constraints for real-world deployment. To address this, in
this work, we propose the first process reward model (PRM) called Web-Shepherd
which could assess web navigation trajectories in a step-level. To achieve
this, we first construct the WebPRM Collection, a large-scale dataset with 40K
step-level preference pairs and annotated checklists spanning diverse domains
and difficulty levels. Next, we also introduce the WebRewardBench, the first
meta-evaluation benchmark for evaluating PRMs. In our experiments, we observe
that our Web-Shepherd achieves about 30 points better accuracy compared to
using GPT-4o on WebRewardBench. Furthermore, when testing on WebArena-lite by
using GPT-4o-mini as the policy and Web-Shepherd as the verifier, we achieve
10.9 points better performance, in 10 less cost compared to using GPT-4o-mini
as the verifier. Our model, dataset, and code are publicly available at LINK.