Au-delà de dix tours : Débloquer la recherche agentique à long horizon grâce à l'apprentissage par renforcement asynchrone à grande échelle
Beyond Ten Turns: Unlocking Long-Horizon Agentic Search with Large-Scale Asynchronous RL
August 11, 2025
papers.authors: Jiaxuan Gao, Wei Fu, Minyang Xie, Shusheng Xu, Chuyi He, Zhiyu Mei, Banghua Zhu, Yi Wu
cs.AI
papers.abstract
Les récentes avancées dans les agents basés sur LLM (modèles de langage de grande taille) ont démontré des capacités remarquables pour gérer des tâches complexes et riches en connaissances grâce à l'intégration d'outils externes. Parmi les divers choix d'outils, les outils de recherche jouent un rôle central pour accéder à de vastes connaissances externes. Cependant, les agents open source ne parviennent pas encore à atteindre un niveau expert en Intelligence de Recherche, c'est-à-dire la capacité à résoudre des requêtes ambiguës, générer des recherches précises, analyser les résultats et mener des explorations approfondies. Les approches existantes présentent des lacunes en termes d'évolutivité, d'efficacité et de qualité des données. Par exemple, les limites de tours dans les méthodes de RL (apprentissage par renforcement) en ligne actuelles, par exemple <=10, restreignent l'apprentissage de stratégies complexes. Ce papier présente ASearcher, un projet open source pour l'entraînement à grande échelle d'agents de recherche par RL. Nos contributions clés incluent : (1) Un entraînement RL entièrement asynchrone et évolutif, permettant des recherches à long horizon tout en maintenant une efficacité d'entraînement élevée. (2) Un agent LLM basé sur des prompts qui synthétise de manière autonome des QAs (Questions-Réponses) de haute qualité et exigeants, créant ainsi un jeu de données QA à grande échelle. Grâce à l'entraînement RL, notre agent QwQ-32B basé sur des prompts réalise des améliorations substantielles, avec des gains de 46,7 % et 20,8 % en Avg@4 sur xBench et GAIA, respectivement. Notamment, notre agent montre une capacité de recherche à très long horizon, avec des appels d'outils dépassant 40 tours et des tokens de sortie excédant 150k pendant l'entraînement. Avec une conception d'agent simple et sans LLM externes, ASearcher-Web-QwQ atteint des scores Avg@4 de 42,1 sur xBench et 52,8 sur GAIA, surpassant les agents open source 32B existants. Nous rendons publics nos modèles, données d'entraînement et codes sur https://github.com/inclusionAI/ASearcher.
English
Recent advancements in LLM-based agents have demonstrated remarkable
capabilities in handling complex, knowledge-intensive tasks by integrating
external tools. Among diverse choices of tools, search tools play a pivotal
role in accessing vast external knowledge. However, open-source agents still
fall short of achieving expert-level Search Intelligence, the ability to
resolve ambiguous queries, generate precise searches, analyze results, and
conduct thorough exploration. Existing approaches fall short in scalability,
efficiency, and data quality. For example, small turn limits in existing online
RL methods, e.g. <=10, restrict complex strategy learning. This paper
introduces ASearcher, an open-source project for large-scale RL training of
search agents. Our key contributions include: (1) Scalable fully asynchronous
RL training that enables long-horizon search while maintaining high training
efficiency. (2) A prompt-based LLM agent that autonomously synthesizes
high-quality and challenging QAs, creating a large-scale QA dataset. Through RL
training, our prompt-based QwQ-32B agent achieves substantial improvements,
with 46.7% and 20.8% Avg@4 gains on xBench and GAIA, respectively. Notably, our
agent exhibits extreme long-horizon search, with tool calls exceeding 40 turns
and output tokens exceeding 150k during training time. With a simple agent
design and no external LLMs, ASearcher-Web-QwQ achieves Avg@4 scores of 42.1 on
xBench and 52.8 on GAIA, surpassing existing open-source 32B agents. We
open-source our models, training data, and codes in
https://github.com/inclusionAI/ASearcher.