WebSailor-V2: 合成データとスケーラブルな強化学習によるプロプライエタリエージェントへの架け橋

WebSailor-V2: Bridging the Chasm to Proprietary Agents via Synthetic Data and Scalable Reinforcement Learning

September 16, 2025

著者: Kuan Li, Zhongwang Zhang, Huifeng Yin, Rui Ye, Yida Zhao, Liwen Zhang, Litu Ou, Dingchu Zhang, Xixi Wu, Jialong Wu, Xinyu Wang, Zile Qiao, Zhen Zhang, Yong Jiang, Pengjun Xie, Fei Huang, Jingren Zhou

cs.AI

要旨

人間の認知的限界を超越することは、LLM（大規模言語モデル）トレーニングにおける重要なフロンティアである。DeepResearchのような独自のエージェントシステムは、BrowseCompのような極めて複雑な情報探索ベンチマークにおいて、従来達成不可能だった超人的な能力を実証している。我々は、その成功の鍵が、オープンソースモデルには見られない洗練された推論パターン、すなわち広大な情報空間をナビゲートする際に極度の不確実性を体系的に低減する能力にあると仮定する。この洞察に基づき、我々はこの重要な能力を習得させるための完全なポストトレーニング手法であるWebSailorを導入する。我々のアプローチは、構造化されたサンプリングと情報の難読化による新規で高不確実性なタスクの生成、RFTコールドスタート、そして効率的なエージェント強化学習トレーニングアルゴリズムであるDuplicating Sampling Policy Optimization（DUPO）を含む。この統合されたパイプラインにより、WebSailorは複雑な情報探索タスクにおいて全てのオープンソースエージェントを大幅に上回り、独自エージェントの性能に匹敵し、能力ギャップを埋めることに成功した。

English

Transcending human cognitive limitations represents a critical frontier in LLM training. Proprietary agentic systems like DeepResearch have demonstrated superhuman capabilities on extremely complex information-seeking benchmarks such as BrowseComp, a feat previously unattainable. We posit that their success hinges on a sophisticated reasoning pattern absent in open-source models: the ability to systematically reduce extreme uncertainty when navigating vast information landscapes. Based on this insight, we introduce WebSailor, a complete post-training methodology designed to instill this crucial capability. Our approach involves generating novel, high-uncertainty tasks through structured sampling and information obfuscation, RFT cold start, and an efficient agentic RL training algorithm, Duplicating Sampling Policy Optimization (DUPO). With this integrated pipeline, WebSailor significantly outperforms all open-source agents in complex information-seeking tasks, matching proprietary agents' performance and closing the capability gap.