Web-Shepherd: Avançando os PRMs para Reforçar Agentes Web
Web-Shepherd: Advancing PRMs for Reinforcing Web Agents
May 21, 2025
Autores: Hyungjoo Chae, Sunghwan Kim, Junhee Cho, Seungone Kim, Seungjun Moon, Gyeom Hwangbo, Dongha Lim, Minjin Kim, Yeonjun Hwang, Minju Gwak, Dongwook Choi, Minseok Kang, Gwanhoon Im, ByeongUng Cho, Hyojun Kim, Jun Hee Han, Taeyoon Kwon, Minju Kim, Beong-woo Kwak, Dongjin Kang, Jinyoung Yeo
cs.AI
Resumo
A navegação na web é um domínio único que pode automatizar muitas tarefas repetitivas da vida real e é desafiador, pois requer tomada de decisão sequencial de longo prazo, indo além das tarefas típicas dos modelos de linguagem multimodal de grande escala (MLLM). No entanto, até agora, faltavam modelos de recompensa especializados para navegação na web que pudessem ser utilizados tanto durante o treinamento quanto no momento do teste. Apesar da importância da velocidade e da relação custo-benefício, trabalhos anteriores utilizaram MLLMs como modelos de recompensa, o que impõe restrições significativas para a implantação no mundo real. Para resolver isso, neste trabalho, propomos o primeiro modelo de recompensa de processo (PRM), chamado Web-Shepherd, que pode avaliar trajetórias de navegação na web em nível de etapa. Para alcançar isso, primeiro construímos o WebPRM Collection, um conjunto de dados em larga escala com 40 mil pares de preferência em nível de etapa e listas de verificação anotadas, abrangendo diversos domínios e níveis de dificuldade. Em seguida, também introduzimos o WebRewardBench, o primeiro benchmark de meta-avaliação para avaliar PRMs. Em nossos experimentos, observamos que nosso Web-Shepherd alcança uma precisão cerca de 30 pontos melhor em comparação com o uso do GPT-4o no WebRewardBench. Além disso, ao testar no WebArena-lite usando o GPT-4o-mini como política e o Web-Shepherd como verificador, alcançamos um desempenho 10,9 pontos melhor, com um custo 10 vezes menor em comparação com o uso do GPT-4o-mini como verificador. Nosso modelo, conjunto de dados e código estão publicamente disponíveis em LINK.
English
Web navigation is a unique domain that can automate many repetitive real-life
tasks and is challenging as it requires long-horizon sequential decision making
beyond typical multimodal large language model (MLLM) tasks. Yet, specialized
reward models for web navigation that can be utilized during both training and
test-time have been absent until now. Despite the importance of speed and
cost-effectiveness, prior works have utilized MLLMs as reward models, which
poses significant constraints for real-world deployment. To address this, in
this work, we propose the first process reward model (PRM) called Web-Shepherd
which could assess web navigation trajectories in a step-level. To achieve
this, we first construct the WebPRM Collection, a large-scale dataset with 40K
step-level preference pairs and annotated checklists spanning diverse domains
and difficulty levels. Next, we also introduce the WebRewardBench, the first
meta-evaluation benchmark for evaluating PRMs. In our experiments, we observe
that our Web-Shepherd achieves about 30 points better accuracy compared to
using GPT-4o on WebRewardBench. Furthermore, when testing on WebArena-lite by
using GPT-4o-mini as the policy and Web-Shepherd as the verifier, we achieve
10.9 points better performance, in 10 less cost compared to using GPT-4o-mini
as the verifier. Our model, dataset, and code are publicly available at LINK.