WebSailor-V2: Преодоление разрыва с проприетарными агентами через синтетические данные и масштабируемое обучение с подкреплением

WebSailor-V2: Bridging the Chasm to Proprietary Agents via Synthetic Data and Scalable Reinforcement Learning

September 16, 2025

Авторы: Kuan Li, Zhongwang Zhang, Huifeng Yin, Rui Ye, Yida Zhao, Liwen Zhang, Litu Ou, Dingchu Zhang, Xixi Wu, Jialong Wu, Xinyu Wang, Zile Qiao, Zhen Zhang, Yong Jiang, Pengjun Xie, Fei Huang, Jingren Zhou

cs.AI

Аннотация

Преодоление когнитивных ограничений человека представляет собой ключевой рубеж в обучении крупных языковых моделей (LLM). Проприетарные агентные системы, такие как DeepResearch, продемонстрировали сверхчеловеческие способности на чрезвычайно сложных тестах на поиск информации, таких как BrowseComp, что ранее было недостижимо. Мы предполагаем, что их успех обусловлен сложной схемой рассуждений, отсутствующей в моделях с открытым исходным кодом: способностью систематически снижать крайнюю неопределенность при навигации в обширных информационных ландшафтах. На основе этого понимания мы представляем WebSailor — полную методологию посттренировки, разработанную для внедрения этой ключевой способности. Наш подход включает генерацию новых задач с высокой неопределенностью через структурированную выборку и сокрытие информации, RFT-холодный старт и эффективный алгоритм обучения агентных систем с подкреплением — Duplicating Sampling Policy Optimization (DUPO). С помощью этой интегрированной системы WebSailor значительно превосходит все модели с открытым исходным кодом в сложных задачах поиска информации, достигая уровня производительности проприетарных агентов и сокращая разрыв в возможностях.

English

Transcending human cognitive limitations represents a critical frontier in LLM training. Proprietary agentic systems like DeepResearch have demonstrated superhuman capabilities on extremely complex information-seeking benchmarks such as BrowseComp, a feat previously unattainable. We posit that their success hinges on a sophisticated reasoning pattern absent in open-source models: the ability to systematically reduce extreme uncertainty when navigating vast information landscapes. Based on this insight, we introduce WebSailor, a complete post-training methodology designed to instill this crucial capability. Our approach involves generating novel, high-uncertainty tasks through structured sampling and information obfuscation, RFT cold start, and an efficient agentic RL training algorithm, Duplicating Sampling Policy Optimization (DUPO). With this integrated pipeline, WebSailor significantly outperforms all open-source agents in complex information-seeking tasks, matching proprietary agents' performance and closing the capability gap.