WebGym: Skalierung von Trainingsumgebungen für visuelle Web-Agenten mit realistischen Aufgaben

WebGym: Scaling Training Environments for Visual Web Agents with Realistic Tasks

January 5, 2026

papers.authors: Hao Bai, Alexey Taymanov, Tong Zhang, Aviral Kumar, Spencer Whitehead

cs.AI

papers.abstract

Wir stellen WebGym vor, die bislang größte Open-Source-Umgebung für das Training realistischer visueller Web-Agenten. Echte Websites sind nicht-stationär und vielfältig, was künstliche oder kleinskalige Aufgaben-Sets für robustes Policy-Learning unzureichend macht. WebGym umfasst fast 300.000 Aufgaben mit rubrikbasierten Evaluationen über diverse, reale Websites und Schwierigkeitsgrade hinweg. Wir trainieren Agenten mit einem einfachen Reinforcement-Learning-(RL)-Rezept, das auf den eigenen Interaktionsspuren (Rollouts) des Agenten trainiert und Aufgabenbelohnungen als Feedback zur Steuerung des Lernens nutzt. Um RL-Skalierung zu ermöglichen, beschleunigen wir die Abtastung von Trajektorien in WebGym durch die Entwicklung eines hochdurchsatzfähigen asynchronen Rollout-Systems, das speziell für Web-Agenten konzipiert ist. Unser System erreicht eine 4-5-fache Rollout-Beschleunigung im Vergleich zu naiven Implementierungen. Zweitens skalieren wir die Breite, Tiefe und Größe des Aufgaben-Sets, was zu einer kontinuierlichen Leistungsverbesserung führt. Das Fine-Tuning eines starken Basis-Vision-Language-Modells, Qwen-3-VL-8B-Instruct, auf WebGym führt zu einer Verbesserung der Erfolgsrate auf einem Out-of-Distribution-Testset von 26,2 % auf 42,9 % und übertrifft damit Agenten auf Basis proprietärer Modelle wie GPT-4o und GPT-5-Thinking, die 27,1 % bzw. 29,8 % erreichen, signifikant. Diese Verbesserung ist wesentlich, da unser Testset im Gegensatz zu vielen anderen früheren Arbeiten zum Training visueller Web-Agenten ausschließlich Aufgaben auf Websites umfasst, die während des Trainings nie gesehen wurden.

English

We present WebGym, the largest-to-date open-source environment for training realistic visual web agents. Real websites are non-stationary and diverse, making artificial or small-scale task sets insufficient for robust policy learning. WebGym contains nearly 300,000 tasks with rubric-based evaluations across diverse, real-world websites and difficulty levels. We train agents with a simple reinforcement learning (RL) recipe, which trains on the agent's own interaction traces (rollouts), using task rewards as feedback to guide learning. To enable scaling RL, we speed up sampling of trajectories in WebGym by developing a high-throughput asynchronous rollout system, designed specifically for web agents. Our system achieves a 4-5x rollout speedup compared to naive implementations. Second, we scale the task set breadth, depth, and size, which results in continued performance improvement. Fine-tuning a strong base vision-language model, Qwen-3-VL-8B-Instruct, on WebGym results in an improvement in success rate on an out-of-distribution test set from 26.2% to 42.9%, significantly outperforming agents based on proprietary models such as GPT-4o and GPT-5-Thinking that achieve 27.1% and 29.8%, respectively. This improvement is substantial because our test set consists only of tasks on websites never seen during training, unlike many other prior works on training visual web agents.