WebSailor: 웹 에이전트를 위한 초인간적 추론 탐색

초록

인간의 인지적 한계를 초월하는 것은 LLM(대형 언어 모델) 훈련에서 중요한 과제로 자리 잡고 있습니다. DeepResearch와 같은 독점적인 에이전트 시스템은 BrowseComp와 같은 극도로 복잡한 정보 탐색 벤치마크에서 초인적인 성능을 입증하며, 이전에는 달성할 수 없었던 업적을 이루었습니다. 우리는 이러한 성공의 핵심이 오픈소스 모델에서는 찾아볼 수 없는 정교한 추론 패턴, 즉 방대한 정보 환경을 탐색할 때 극도의 불확실성을 체계적으로 줄이는 능력에 있다고 주장합니다. 이러한 통찰을 바탕으로, 우리는 이러한 중요한 능력을 심어주기 위한 완전한 사후 훈련 방법론인 WebSailor를 소개합니다. 우리의 접근 방식은 구조화된 샘플링과 정보 은폐를 통해 새로운 고불확실성 작업을 생성하고, RFT(Reward Fine-Tuning) 콜드 스타트, 그리고 효율적인 에이전트 RL(강화 학습) 훈련 알고리즘인 Duplicating Sampling Policy Optimization(DUPO)을 포함합니다. 이 통합 파이프라인을 통해 WebSailor는 복잡한 정보 탐색 작업에서 모든 오픈소스 에이전트를 크게 능가하며, 독점 에이전트의 성능에 근접하여 능력 격차를 줄였습니다.

English

Transcending human cognitive limitations represents a critical frontier in LLM training. Proprietary agentic systems like DeepResearch have demonstrated superhuman capabilities on extremely complex information-seeking benchmarks such as BrowseComp, a feat previously unattainable. We posit that their success hinges on a sophisticated reasoning pattern absent in open-source models: the ability to systematically reduce extreme uncertainty when navigating vast information landscapes. Based on this insight, we introduce WebSailor, a complete post-training methodology designed to instill this crucial capability. Our approach involves generating novel, high-uncertainty tasks through structured sampling and information obfuscation, RFT cold start, and an efficient agentic RL training algorithm, Duplicating Sampling Policy Optimization (DUPO). With this integrated pipeline, WebSailor significantly outperforms all opensource agents in complex information-seeking tasks, matching proprietary agents' performance and closing the capability gap.

WebSailor: 웹 에이전트를 위한 초인간적 추론 탐색

WebSailor: Navigating Super-human Reasoning for Web Agent

초록

Support