10ターンを超えて：大規模非同期強化学習による長期的エージェント探索の実現

要旨

最近のLLMベースのエージェントの進歩は、外部ツールを統合することで、複雑で知識集約的なタスクを処理する際に顕著な能力を発揮しています。多様なツールの選択肢の中でも、検索ツールは膨大な外部知識にアクセスする上で重要な役割を果たしています。しかし、オープンソースのエージェントは、曖昧なクエリを解決し、正確な検索を生成し、結果を分析し、徹底的な探索を行う能力である「Search Intelligence」の専門家レベルにはまだ達していません。既存のアプローチは、スケーラビリティ、効率性、データ品質の面で不足しています。例えば、既存のオンラインRL手法における小さなターン制限（例：<=10）は、複雑な戦略の学習を制限しています。本論文では、検索エージェントの大規模RLトレーニングのためのオープンソースプロジェクトであるASearcherを紹介します。私たちの主な貢献は以下の通りです：（1）長期的な検索を可能にしつつ、高いトレーニング効率を維持するスケーラブルな完全非同期RLトレーニング。（2）高品質で挑戦的なQAを自律的に合成し、大規模なQAデータセットを作成するプロンプトベースのLLMエージェント。RLトレーニングを通じて、私たちのプロンプトベースのQwQ-32Bエージェントは、xBenchとGAIAでそれぞれ46.7%と20.8%のAvg@4の向上を達成しました。特に、私たちのエージェントは、トレーニング時間中に40ターンを超えるツール呼び出しと150kを超える出力トークンを伴う極めて長期的な検索を示しています。シンプルなエージェント設計と外部LLMを使用せずに、ASearcher-Web-QwQはxBenchで42.1、GAIAで52.8のAvg@4スコアを達成し、既存のオープンソース32Bエージェントを凌駕しています。私たちは、モデル、トレーニングデータ、コードをhttps://github.com/inclusionAI/ASearcherでオープンソースとして公開しています。

English

Recent advancements in LLM-based agents have demonstrated remarkable capabilities in handling complex, knowledge-intensive tasks by integrating external tools. Among diverse choices of tools, search tools play a pivotal role in accessing vast external knowledge. However, open-source agents still fall short of achieving expert-level Search Intelligence, the ability to resolve ambiguous queries, generate precise searches, analyze results, and conduct thorough exploration. Existing approaches fall short in scalability, efficiency, and data quality. For example, small turn limits in existing online RL methods, e.g. <=10, restrict complex strategy learning. This paper introduces ASearcher, an open-source project for large-scale RL training of search agents. Our key contributions include: (1) Scalable fully asynchronous RL training that enables long-horizon search while maintaining high training efficiency. (2) A prompt-based LLM agent that autonomously synthesizes high-quality and challenging QAs, creating a large-scale QA dataset. Through RL training, our prompt-based QwQ-32B agent achieves substantial improvements, with 46.7% and 20.8% Avg@4 gains on xBench and GAIA, respectively. Notably, our agent exhibits extreme long-horizon search, with tool calls exceeding 40 turns and output tokens exceeding 150k during training time. With a simple agent design and no external LLMs, ASearcher-Web-QwQ achieves Avg@4 scores of 42.1 on xBench and 52.8 on GAIA, surpassing existing open-source 32B agents. We open-source our models, training data, and codes in https://github.com/inclusionAI/ASearcher.

10ターンを超えて：大規模非同期強化学習による長期的エージェント探索の実現

Beyond Ten Turns: Unlocking Long-Horizon Agentic Search with Large-Scale Asynchronous RL

要旨

Support