WebGym: Escalonando Ambientes de Treinamento para Agentes Web Visuais com Tarefas Realistas

WebGym: Scaling Training Environments for Visual Web Agents with Realistic Tasks

January 5, 2026

Autores: Hao Bai, Alexey Taymanov, Tong Zhang, Aviral Kumar, Spencer Whitehead

cs.AI

Resumo

Apresentamos o WebGym, o ambiente de código aberto mais abrangente até à data para treinar agentes web visuais realistas. Os websites reais são não estacionários e diversificados, tornando conjuntos de tarefas artificiais ou de pequena escala insuficientes para uma aprendizagem robusta de políticas. O WebGym contém cerca de 300.000 tarefas com avaliações baseadas em rubricas, abrangendo websites reais diversificados e vários níveis de dificuldade. Treinamos agentes com uma receita simples de aprendizagem por reforço (RL), que os treina com base nos seus próprios traços de interação (rollouts), utilizando as recompensas das tarefas como feedback para orientar a aprendizagem. Para permitir a escalabilidade da RL, aceleramos a amostragem de trajetórias no WebGym através do desenvolvimento de um sistema de rollouts assíncrono de alto débito, concebido especificamente para agentes web. O nosso sistema alcança uma aceleração de rollouts 4 a 5 vezes superior em comparação com implementações ingénuas. Em segundo lugar, escalamos a amplitude, profundidade e dimensão do conjunto de tarefas, o que resulta numa melhoria contínua de desempenho. O *fine-tuning* de um modelo base vision-language robusto, o Qwen-3-VL-8B-Instruct, no WebGym resulta numa melhoria da taxa de sucesso num conjunto de teste fora da distribuição de 26,2% para 42,9%, superando significativamente agentes baseados em modelos proprietários como o GPT-4o e o GPT-5-Thinking, que alcançam 27,1% e 29,8%, respetivamente. Esta melhoria é substancial porque o nosso conjunto de teste consiste apenas em tarefas em websites nunca vistos durante o treino, ao contrário de muitos outros trabalhos anteriores sobre o treino de agentes web visuais.

English

We present WebGym, the largest-to-date open-source environment for training realistic visual web agents. Real websites are non-stationary and diverse, making artificial or small-scale task sets insufficient for robust policy learning. WebGym contains nearly 300,000 tasks with rubric-based evaluations across diverse, real-world websites and difficulty levels. We train agents with a simple reinforcement learning (RL) recipe, which trains on the agent's own interaction traces (rollouts), using task rewards as feedback to guide learning. To enable scaling RL, we speed up sampling of trajectories in WebGym by developing a high-throughput asynchronous rollout system, designed specifically for web agents. Our system achieves a 4-5x rollout speedup compared to naive implementations. Second, we scale the task set breadth, depth, and size, which results in continued performance improvement. Fine-tuning a strong base vision-language model, Qwen-3-VL-8B-Instruct, on WebGym results in an improvement in success rate on an out-of-distribution test set from 26.2% to 42.9%, significantly outperforming agents based on proprietary models such as GPT-4o and GPT-5-Thinking that achieve 27.1% and 29.8%, respectively. This improvement is substantial because our test set consists only of tasks on websites never seen during training, unlike many other prior works on training visual web agents.