WebGym: Масштабирование обучающих сред для визуальных веб-агентов с реалистичными задачами

WebGym: Scaling Training Environments for Visual Web Agents with Realistic Tasks

January 5, 2026

Авторы: Hao Bai, Alexey Taymanov, Tong Zhang, Aviral Kumar, Spencer Whitehead

cs.AI

Аннотация

Мы представляем WebGym — крупнейшую на сегодняшний день открытую среду для обучения реалистичных визуальных веб-агентов. Реальные веб-сайты нестационарны и разнообразны, что делает искусственные или маломасштабные наборы задач недостаточными для устойчивого обучения политик. WebGym содержит почти 300 000 задач с рубрико-ориентированной оценкой на разнообразных реальных веб-сайтах и уровнях сложности. Мы обучаем агентов по простому рецепту обучения с подкреплением (RL), который тренирует на следах взаимодействий (роллаутах) самого агента, используя вознаграждения за задачи как обратную связь для направления обучения. Чтобы обеспечить масштабируемость RL, мы ускоряем семплирование траекторий в WebGym за счёт разработки высокопроизводительной асинхронной системы роллаута, специально предназначенной для веб-агентов. Наша система достигает ускорения роллаута в 4–5 раз по сравнению с наивными реализациями. Во-вторых, мы масштабируем широту, глубину и размер набора задач, что приводит к непрерывному улучшению производительности. Дообучение мощной базовой визуально-языковой модели Qwen-3-VL-8B-Instruct на WebGym приводит к повышению успешности на тестовом наборе вне распределения с 26,2% до 42,9%, что значительно превосходит агентов на основе проприетарных моделей, таких как GPT-4o и GPT-5-Thinking, которые достигают 27,1% и 29,8% соответственно. Это улучшение является существенным, поскольку наш тестовый набор состоит исключительно из задач на веб-сайтах, не встречавшихся во время обучения, в отличие от многих предыдущих работ по обучению визуальных веб-агентов.

English

We present WebGym, the largest-to-date open-source environment for training realistic visual web agents. Real websites are non-stationary and diverse, making artificial or small-scale task sets insufficient for robust policy learning. WebGym contains nearly 300,000 tasks with rubric-based evaluations across diverse, real-world websites and difficulty levels. We train agents with a simple reinforcement learning (RL) recipe, which trains on the agent's own interaction traces (rollouts), using task rewards as feedback to guide learning. To enable scaling RL, we speed up sampling of trajectories in WebGym by developing a high-throughput asynchronous rollout system, designed specifically for web agents. Our system achieves a 4-5x rollout speedup compared to naive implementations. Second, we scale the task set breadth, depth, and size, which results in continued performance improvement. Fine-tuning a strong base vision-language model, Qwen-3-VL-8B-Instruct, on WebGym results in an improvement in success rate on an out-of-distribution test set from 26.2% to 42.9%, significantly outperforming agents based on proprietary models such as GPT-4o and GPT-5-Thinking that achieve 27.1% and 29.8%, respectively. This improvement is substantial because our test set consists only of tasks on websites never seen during training, unlike many other prior works on training visual web agents.