Voorbij Tien Beurten: Het Ontgrendelen van Langetermijn Agentgericht Zoeken met Grootschalige Asynchrone RL

Beyond Ten Turns: Unlocking Long-Horizon Agentic Search with Large-Scale Asynchronous RL

August 11, 2025

Auteurs: Jiaxuan Gao, Wei Fu, Minyang Xie, Shusheng Xu, Chuyi He, Zhiyu Mei, Banghua Zhu, Yi Wu

cs.AI

Samenvatting

Recente vooruitgang in LLM-gebaseerde agents heeft opmerkelijke capaciteiten getoond bij het uitvoeren van complexe, kennisintensieve taken door het integreren van externe tools. Onder de diverse keuzes van tools spelen zoektools een cruciale rol bij het toegang krijgen tot uitgebreide externe kennis. Open-source agents schieten echter nog tekort in het bereiken van expertniveau Zoekintelligentie, het vermogen om ambiguïteit in queries op te lossen, precieze zoekopdrachten te genereren, resultaten te analyseren en grondige verkenning uit te voeren. Bestaande benaderingen schieten tekort in schaalbaarheid, efficiëntie en datakwaliteit. Kleine beurtlimieten in bestaande online RL-methoden, bijvoorbeeld <=10, beperken bijvoorbeeld het leren van complexe strategieën. Dit artikel introduceert ASearcher, een open-source project voor grootschalige RL-training van zoekagents. Onze belangrijkste bijdragen omvatten: (1) Schaalbare volledig asynchrone RL-training die langetermijnzoeken mogelijk maakt terwijl een hoge trainings efficiëntie behouden blijft. (2) Een prompt-gebaseerde LLM-agent die autonoom hoogwaardige en uitdagende QA's synthetiseert, waardoor een grootschalige QA-dataset wordt gecreëerd. Door RL-training behaalt onze prompt-gebaseerde QwQ-32B-agent aanzienlijke verbeteringen, met 46,7% en 20,8% Avg@4 winst op respectievelijk xBench en GAIA. Opmerkelijk is dat onze agent extreem langetermijnzoeken vertoont, met toolaanroepen die meer dan 40 beurten overschrijden en uitvoertokens die meer dan 150k bedragen tijdens de trainingstijd. Met een eenvoudig agentontwerp en zonder externe LLM's behaalt ASearcher-Web-QwQ Avg@4-scores van 42,1 op xBench en 52,8 op GAIA, wat bestaande open-source 32B-agents overtreft. We maken onze modellen, trainingsdata en codes openbaar op https://github.com/inclusionAI/ASearcher.

English

Recent advancements in LLM-based agents have demonstrated remarkable capabilities in handling complex, knowledge-intensive tasks by integrating external tools. Among diverse choices of tools, search tools play a pivotal role in accessing vast external knowledge. However, open-source agents still fall short of achieving expert-level Search Intelligence, the ability to resolve ambiguous queries, generate precise searches, analyze results, and conduct thorough exploration. Existing approaches fall short in scalability, efficiency, and data quality. For example, small turn limits in existing online RL methods, e.g. <=10, restrict complex strategy learning. This paper introduces ASearcher, an open-source project for large-scale RL training of search agents. Our key contributions include: (1) Scalable fully asynchronous RL training that enables long-horizon search while maintaining high training efficiency. (2) A prompt-based LLM agent that autonomously synthesizes high-quality and challenging QAs, creating a large-scale QA dataset. Through RL training, our prompt-based QwQ-32B agent achieves substantial improvements, with 46.7% and 20.8% Avg@4 gains on xBench and GAIA, respectively. Notably, our agent exhibits extreme long-horizon search, with tool calls exceeding 40 turns and output tokens exceeding 150k during training time. With a simple agent design and no external LLMs, ASearcher-Web-QwQ achieves Avg@4 scores of 42.1 on xBench and 52.8 on GAIA, surpassing existing open-source 32B agents. We open-source our models, training data, and codes in https://github.com/inclusionAI/ASearcher.