WebSailor-V2: Überbrückung der Kluft zu proprietären Agenten durch synthetische Daten und skalierbares Reinforcement Learning

WebSailor-V2: Bridging the Chasm to Proprietary Agents via Synthetic Data and Scalable Reinforcement Learning

September 16, 2025

papers.authors: Kuan Li, Zhongwang Zhang, Huifeng Yin, Rui Ye, Yida Zhao, Liwen Zhang, Litu Ou, Dingchu Zhang, Xixi Wu, Jialong Wu, Xinyu Wang, Zile Qiao, Zhen Zhang, Yong Jiang, Pengjun Xie, Fei Huang, Jingren Zhou

cs.AI

papers.abstract

Das Überwinden menschlicher kognitiver Grenzen stellt eine entscheidende Herausforderung im Training von LLMs dar. Proprietäre agentenbasierte Systeme wie DeepResearch haben übermenschliche Fähigkeiten bei extrem komplexen Informationssuch-Benchmarks wie BrowseComp demonstriert, eine Leistung, die bisher unerreichbar war. Wir vertreten die These, dass ihr Erfolg auf einem ausgeklügelten Denkmuster beruht, das in Open-Source-Modellen fehlt: die Fähigkeit, extreme Unsicherheit systematisch zu reduzieren, wenn man sich durch riesige Informationslandschaften bewegt. Basierend auf dieser Erkenntnis stellen wir WebSailor vor, eine vollständige Post-Training-Methodik, die darauf abzielt, diese entscheidende Fähigkeit zu vermitteln. Unser Ansatz umfasst die Generierung neuartiger, hochgradig unsicherer Aufgaben durch strukturiertes Sampling und Informationsverschleierung, RFT-Cold-Start und einen effizienten agentenbasierten RL-Trainingsalgorithmus, Duplicating Sampling Policy Optimization (DUPO). Mit dieser integrierten Pipeline übertrifft WebSailor alle Open-Source-Agenten bei komplexen Informationssuchaufgaben deutlich, erreicht die Leistung proprietärer Agenten und schließt die Fähigkeitslücke.

English

Transcending human cognitive limitations represents a critical frontier in LLM training. Proprietary agentic systems like DeepResearch have demonstrated superhuman capabilities on extremely complex information-seeking benchmarks such as BrowseComp, a feat previously unattainable. We posit that their success hinges on a sophisticated reasoning pattern absent in open-source models: the ability to systematically reduce extreme uncertainty when navigating vast information landscapes. Based on this insight, we introduce WebSailor, a complete post-training methodology designed to instill this crucial capability. Our approach involves generating novel, high-uncertainty tasks through structured sampling and information obfuscation, RFT cold start, and an efficient agentic RL training algorithm, Duplicating Sampling Policy Optimization (DUPO). With this integrated pipeline, WebSailor significantly outperforms all open-source agents in complex information-seeking tasks, matching proprietary agents' performance and closing the capability gap.