WebGym: Escalando Entornos de Entrenamiento para Agentes Web Visuales con Tareas Realistas

WebGym: Scaling Training Environments for Visual Web Agents with Realistic Tasks

January 5, 2026

Autores: Hao Bai, Alexey Taymanov, Tong Zhang, Aviral Kumar, Spencer Whitehead

cs.AI

Resumen

Presentamos WebGym, el entorno de código abierto más grande hasta la fecha para entrenar agentes web visuales realistas. Los sitios web reales son no estacionarios y diversos, lo que hace que los conjuntos de tareas artificiales o a pequeña escala sean insuficientes para un aprendizaje robusto de políticas. WebGym contiene cerca de 300.000 tareas con evaluaciones basadas en rúbricas que abarcan diversos sitios web del mundo real y niveles de dificultad. Entrenamos agentes con una receta simple de aprendizaje por refuerzo (RL), que se entrena con las trazas de interacción propias del agente (rollouts), utilizando las recompensas de las tareas como retroalimentación para guiar el aprendizaje. Para permitir la escalabilidad del RL, aceleramos el muestreo de trayectorias en WebGym mediante el desarrollo de un sistema asíncrono de rollouts de alto rendimiento, diseñado específicamente para agentes web. Nuestro sistema logra una aceleración de 4-5x en la velocidad de los rollouts en comparación con las implementaciones simples. En segundo lugar, escalamos la amplitud, profundidad y tamaño del conjunto de tareas, lo que resulta en una mejora continua del rendimiento. El ajuste fino de un modelo base sólido de visión y lenguaje, Qwen-3-VL-8B-Instruct, en WebGym da como resultado una mejora en la tasa de éxito en un conjunto de pruebas fuera de distribución del 26.2% al 42.9%, superando significativamente a los agentes basados en modelos propietarios como GPT-4o y GPT-5-Thinking, que logran un 27.1% y 29.8%, respectivamente. Esta mejora es sustancial porque nuestro conjunto de pruebas consiste únicamente en tareas en sitios web nunca vistos durante el entrenamiento, a diferencia de muchos otros trabajos previos sobre el entrenamiento de agentes web visuales.

English

We present WebGym, the largest-to-date open-source environment for training realistic visual web agents. Real websites are non-stationary and diverse, making artificial or small-scale task sets insufficient for robust policy learning. WebGym contains nearly 300,000 tasks with rubric-based evaluations across diverse, real-world websites and difficulty levels. We train agents with a simple reinforcement learning (RL) recipe, which trains on the agent's own interaction traces (rollouts), using task rewards as feedback to guide learning. To enable scaling RL, we speed up sampling of trajectories in WebGym by developing a high-throughput asynchronous rollout system, designed specifically for web agents. Our system achieves a 4-5x rollout speedup compared to naive implementations. Second, we scale the task set breadth, depth, and size, which results in continued performance improvement. Fine-tuning a strong base vision-language model, Qwen-3-VL-8B-Instruct, on WebGym results in an improvement in success rate on an out-of-distribution test set from 26.2% to 42.9%, significantly outperforming agents based on proprietary models such as GPT-4o and GPT-5-Thinking that achieve 27.1% and 29.8%, respectively. This improvement is substantial because our test set consists only of tasks on websites never seen during training, unlike many other prior works on training visual web agents.