Web-Shepherd: Усовершенствование вероятностных моделей маршрутов для усиления веб-агентов

Web-Shepherd: Advancing PRMs for Reinforcing Web Agents

May 21, 2025

Авторы: Hyungjoo Chae, Sunghwan Kim, Junhee Cho, Seungone Kim, Seungjun Moon, Gyeom Hwangbo, Dongha Lim, Minjin Kim, Yeonjun Hwang, Minju Gwak, Dongwook Choi, Minseok Kang, Gwanhoon Im, ByeongUng Cho, Hyojun Kim, Jun Hee Han, Taeyoon Kwon, Minju Kim, Beong-woo Kwak, Dongjin Kang, Jinyoung Yeo

cs.AI

Аннотация

Навигация в вебе представляет собой уникальную область, которая может автоматизировать множество повторяющихся задач из реальной жизни, но при этом является сложной, так как требует принятия долгосрочных последовательных решений, выходящих за рамки типичных задач мультимодальных больших языковых моделей (MLLM). Однако до сих пор отсутствовали специализированные модели вознаграждения для веб-навигации, которые можно было бы использовать как во время обучения, так и во время тестирования. Несмотря на важность скорости и экономической эффективности, предыдущие работы использовали MLLM в качестве моделей вознаграждения, что накладывает значительные ограничения для реального применения. Чтобы решить эту проблему, в данной работе мы предлагаем первую модель пошагового вознаграждения (PRM) под названием Web-Shepherd, которая способна оценивать траектории веб-навигации на уровне отдельных шагов. Для этого мы сначала создали коллекцию WebPRM — крупномасштабный набор данных, содержащий 40 тысяч пар предпочтений на уровне шагов и аннотированные контрольные списки, охватывающие различные области и уровни сложности. Затем мы также представляем WebRewardBench — первый мета-оценочный бенчмарк для оценки PRM. В наших экспериментах мы наблюдаем, что Web-Shepherd достигает примерно на 30 пунктов большей точности по сравнению с использованием GPT-4o на WebRewardBench. Кроме того, при тестировании на WebArena-lite с использованием GPT-4o-mini в качестве политики и Web-Shepherd в качестве верификатора, мы достигаем на 10,9 пунктов лучшей производительности при 10-кратном снижении затрат по сравнению с использованием GPT-4o-mini в качестве верификатора. Наша модель, набор данных и код доступны по ссылке LINK.

English

Web navigation is a unique domain that can automate many repetitive real-life tasks and is challenging as it requires long-horizon sequential decision making beyond typical multimodal large language model (MLLM) tasks. Yet, specialized reward models for web navigation that can be utilized during both training and test-time have been absent until now. Despite the importance of speed and cost-effectiveness, prior works have utilized MLLMs as reward models, which poses significant constraints for real-world deployment. To address this, in this work, we propose the first process reward model (PRM) called Web-Shepherd which could assess web navigation trajectories in a step-level. To achieve this, we first construct the WebPRM Collection, a large-scale dataset with 40K step-level preference pairs and annotated checklists spanning diverse domains and difficulty levels. Next, we also introduce the WebRewardBench, the first meta-evaluation benchmark for evaluating PRMs. In our experiments, we observe that our Web-Shepherd achieves about 30 points better accuracy compared to using GPT-4o on WebRewardBench. Furthermore, when testing on WebArena-lite by using GPT-4o-mini as the policy and Web-Shepherd as the verifier, we achieve 10.9 points better performance, in 10 less cost compared to using GPT-4o-mini as the verifier. Our model, dataset, and code are publicly available at LINK.