DeepSearch-World: 検証可能な環境における深層探索エージェントのための自己蒸留

要旨

ツール使用エージェントが自身の経験から改善するよう訓練することは依然として困難である。なぜなら、教師ありファインチューニングは固定された教師蒸留軌跡に依存する一方、疎な報酬の強化学習では長期的な相互作用に対する弱い教師信号しか提供できないからである。本稿では、DeepSearch-Evolveを提案する。これは、DeepSearch-World上に構築されたWebエージェント向けの自己蒸留フレームワークである。DeepSearch-Worldは、再現可能な検索およびページ読み取りツールを備えた決定論的かつ検証可能な環境である。DeepSearch-Worldは、エンティティレベルのランダムウォークから構築された42万件のマルチホップQAタスクを含み、進捗検証、根拠に基づく反省、障害回復など、自己進化に有用な主要なエージェント認知行動をサポートする。DeepSearch-Evolveは、軌跡生成、フィルタリング、データ混合、ファインチューニングを反復的に実行し、より強力なエージェントを訓練する。より高性能なモデルからの蒸留を行わずとも、DeepSearch-World-9Bはオープンソースエージェントと比較して競争力のあるパフォーマンスを達成し、BrowseCompで31.2%、GAIAで61.5%、HotpotQAで93.4%を記録した。これは、検証可能な環境が長期的なWebエージェントのスケーラブルな自己進化を可能にすることを示している。環境、42万件のトレーニングプール、バリデーションセット、モデル、コードを公開し、自己改善型ディープサーチエージェントに関する今後の研究を促進する予定である。

English

Training tool-use agents to improve from their own experience remains challenging, as supervised fine-tuning relies on fixed teacher-distilled trajectories, while sparse-reward reinforcement learning provides weak supervision for long-horizon interactions. We present DeepSearch-Evolve, a self-distillation framework for web agents built on DeepSearch-World, a deterministic and verifiable environment with reproducible search and page-reading tools. DeepSearch-World contains 420K multi-hop QA tasks constructed from entity-level random walks and supports key agentic cognitive behaviors useful for self-evolving, including progress verification, grounded reflection, and failure recovery. DeepSearch-Evolve iteratively performs trajectory generation, filtering, data mixing, and fine-tuning to train stronger agents. Without distillation from more capable models, DeepSearch-World-9B achieves competitive performance compared with open-source agents, reaching 31.2% on BrowseComp, 61.5% on GAIA, and 93.4% on HotpotQA, showing that verifiable environments enable scalable self-evolution for long-horizon web agents. We will release the environment, 420K training pool, validation set, model, and code to facilitate future research on self-improving deep search agents.