DeepSearch-World: 검증 가능한 환경에서 딥서치 에이전트를 위한 자기 증류

초록

도구 사용 에이전트가 자체 경험을 통해 개선되도록 훈련하는 것은 여전히 어려운 과제이다. 지도 미세 조정은 고정된 교사 모델 증류 궤적에 의존하는 반면, 희소 보상 강화 학습은 장기 지평 상호작용에 대해 약한 감독을 제공하기 때문이다. 본 논문에서는 결정론적이고 검증 가능한 환경으로 재현 가능한 검색 및 페이지 읽기 도구를 갖춘 DeepSearch-World를 기반으로 구축된 웹 에이전트용 자기 증류 프레임워크인 DeepSearch-Evolve를 제시한다. DeepSearch-World는 엔티티 수준 무작위 걷기로부터 구성된 42만 개의 다중 홉 QA 과제를 포함하며, 진행 상황 검증, 근거 기반 반성, 실패 복구 등 자기 진화에 유용한 핵심 에이전트 인지 행동을 지원한다. DeepSearch-Evolve는 궤적 생성, 필터링, 데이터 혼합 및 미세 조정을 반복적으로 수행하여 더 강력한 에이전트를 훈련한다. 더 우수한 모델로부터의 증류 없이도 DeepSearch-World-9B는 오픈소스 에이전트와 비교하여 경쟁력 있는 성능을 달성하여 BrowseComp에서 31.2%, GAIA에서 61.5%, HotpotQA에서 93.4%를 기록했다. 이는 검증 가능한 환경이 장기 지평 웹 에이전트의 확장 가능한 자기 진화를 가능하게 함을 보여준다. 향후 자기 개선 심층 검색 에이전트 연구를 촉진하기 위해 환경, 42만 개 훈련 풀, 검증 세트, 모델 및 코드를 공개할 예정이다.

English

Training tool-use agents to improve from their own experience remains challenging, as supervised fine-tuning relies on fixed teacher-distilled trajectories, while sparse-reward reinforcement learning provides weak supervision for long-horizon interactions. We present DeepSearch-Evolve, a self-distillation framework for web agents built on DeepSearch-World, a deterministic and verifiable environment with reproducible search and page-reading tools. DeepSearch-World contains 420K multi-hop QA tasks constructed from entity-level random walks and supports key agentic cognitive behaviors useful for self-evolving, including progress verification, grounded reflection, and failure recovery. DeepSearch-Evolve iteratively performs trajectory generation, filtering, data mixing, and fine-tuning to train stronger agents. Without distillation from more capable models, DeepSearch-World-9B achieves competitive performance compared with open-source agents, reaching 31.2% on BrowseComp, 61.5% on GAIA, and 93.4% on HotpotQA, showing that verifiable environments enable scalable self-evolution for long-horizon web agents. We will release the environment, 420K training pool, validation set, model, and code to facilitate future research on self-improving deep search agents.