WebGym : Mise à l'échelle des environnements d'entraînement pour les agents web visuels avec des tâches réalistes

WebGym: Scaling Training Environments for Visual Web Agents with Realistic Tasks

January 5, 2026

papers.authors: Hao Bai, Alexey Taymanov, Tong Zhang, Aviral Kumar, Spencer Whitehead

cs.AI

papers.abstract

Nous présentons WebGym, l'environnement open-source le plus vaste à ce jour pour l'entraînement d'agents web visuels réalistes. Les sites web réels étant non stationnaires et diversifiés, les ensembles de tâches artificiels ou à petite échelle s'avèrent insuffisants pour un apprentissage robuste des politiques. WebGym contient près de 300 000 tâches avec des évaluations basées sur des grilles critériées, couvrant divers sites web réels et niveaux de difficulté. Nous entraînons les agents à l'aide d'une méthode simple d'apprentissage par renforcement (RL), qui s'entraîne sur les traces d'interaction propres de l'agent (rollouts), en utilisant les récompenses des tâches comme feedback pour guider l'apprentissage. Pour permettre la mise à l'échelle du RL, nous accélérons l'échantillonnage des trajectoires dans WebGym en développant un système asynchrone à haut débit spécialement conçu pour les agents web. Notre système permet une accélération des rollouts d'un facteur 4 à 5 par rapport aux implémentations naïves. Deuxièmement, nous augmentons l'étendue, la profondeur et la taille de l'ensemble de tâches, ce qui se traduit par une amélioration continue des performances. Le fine-tuning d'un modèle de base vision-langue performant, Qwen-3-VL-8B-Instruct, sur WebGym permet d'augmenter le taux de réussite sur un ensemble de test hors distribution de 26,2 % à 42,9 %, surpassant significativement les agents basés sur des modèles propriétaires tels que GPT-4o et GPT-5-Thinking, qui obtiennent respectivement 27,1 % et 29,8 %. Cette amélioration est substantielle car notre ensemble de test est constitué uniquement de tâches sur des sites web jamais vus pendant l'entraînement, contrairement à de nombreux travaux antérieurs sur l'entraînement d'agents web visuels.

English

We present WebGym, the largest-to-date open-source environment for training realistic visual web agents. Real websites are non-stationary and diverse, making artificial or small-scale task sets insufficient for robust policy learning. WebGym contains nearly 300,000 tasks with rubric-based evaluations across diverse, real-world websites and difficulty levels. We train agents with a simple reinforcement learning (RL) recipe, which trains on the agent's own interaction traces (rollouts), using task rewards as feedback to guide learning. To enable scaling RL, we speed up sampling of trajectories in WebGym by developing a high-throughput asynchronous rollout system, designed specifically for web agents. Our system achieves a 4-5x rollout speedup compared to naive implementations. Second, we scale the task set breadth, depth, and size, which results in continued performance improvement. Fine-tuning a strong base vision-language model, Qwen-3-VL-8B-Instruct, on WebGym results in an improvement in success rate on an out-of-distribution test set from 26.2% to 42.9%, significantly outperforming agents based on proprietary models such as GPT-4o and GPT-5-Thinking that achieve 27.1% and 29.8%, respectively. This improvement is substantial because our test set consists only of tasks on websites never seen during training, unlike many other prior works on training visual web agents.