Web-Shepherd : Faire progresser les PRM pour renforcer les agents web

Web-Shepherd: Advancing PRMs for Reinforcing Web Agents

May 21, 2025

Auteurs: Hyungjoo Chae, Sunghwan Kim, Junhee Cho, Seungone Kim, Seungjun Moon, Gyeom Hwangbo, Dongha Lim, Minjin Kim, Yeonjun Hwang, Minju Gwak, Dongwook Choi, Minseok Kang, Gwanhoon Im, ByeongUng Cho, Hyojun Kim, Jun Hee Han, Taeyoon Kwon, Minju Kim, Beong-woo Kwak, Dongjin Kang, Jinyoung Yeo

cs.AI

Résumé

La navigation web est un domaine unique qui peut automatiser de nombreuses tâches répétitives de la vie réelle et qui est complexe car elle nécessite une prise de décision séquentielle à long terme, allant au-delà des tâches typiques des modèles de langage multimodaux de grande envergure (MLLM). Jusqu'à présent, des modèles de récompense spécialisés pour la navigation web, utilisables à la fois pendant l'entraînement et lors des tests, faisaient défaut. Malgré l'importance de la rapidité et de la rentabilité, les travaux antérieurs ont utilisé des MLLM comme modèles de récompense, ce qui impose des contraintes significatives pour un déploiement en conditions réelles. Pour remédier à cela, nous proposons dans ce travail le premier modèle de récompense basé sur le processus (PRM), appelé Web-Shepherd, capable d'évaluer les trajectoires de navigation web au niveau des étapes. Pour y parvenir, nous avons d'abord construit la WebPRM Collection, un ensemble de données à grande échelle comprenant 40 000 paires de préférences au niveau des étapes et des listes de contrôle annotées couvrant divers domaines et niveaux de difficulté. Ensuite, nous introduisons également WebRewardBench, le premier benchmark de méta-évaluation pour évaluer les PRM. Dans nos expériences, nous observons que notre Web-Shepherd atteint une précision environ 30 points supérieure à celle de GPT-4o sur WebRewardBench. De plus, lors des tests sur WebArena-lite en utilisant GPT-4o-mini comme politique et Web-Shepherd comme vérificateur, nous obtenons une performance 10,9 points supérieure, pour un coût 10 fois moindre par rapport à l'utilisation de GPT-4o-mini comme vérificateur. Notre modèle, ensemble de données et code sont disponibles publiquement à l'adresse LINK.

English

Web navigation is a unique domain that can automate many repetitive real-life tasks and is challenging as it requires long-horizon sequential decision making beyond typical multimodal large language model (MLLM) tasks. Yet, specialized reward models for web navigation that can be utilized during both training and test-time have been absent until now. Despite the importance of speed and cost-effectiveness, prior works have utilized MLLMs as reward models, which poses significant constraints for real-world deployment. To address this, in this work, we propose the first process reward model (PRM) called Web-Shepherd which could assess web navigation trajectories in a step-level. To achieve this, we first construct the WebPRM Collection, a large-scale dataset with 40K step-level preference pairs and annotated checklists spanning diverse domains and difficulty levels. Next, we also introduce the WebRewardBench, the first meta-evaluation benchmark for evaluating PRMs. In our experiments, we observe that our Web-Shepherd achieves about 30 points better accuracy compared to using GPT-4o on WebRewardBench. Furthermore, when testing on WebArena-lite by using GPT-4o-mini as the policy and Web-Shepherd as the verifier, we achieve 10.9 points better performance, in 10 less cost compared to using GPT-4o-mini as the verifier. Our model, dataset, and code are publicly available at LINK.