Jenseits von zehn Zügen: Erschließung langfristiger agentenbasierter Suche mit groß angelegtem asynchronem Reinforcement Learning

Beyond Ten Turns: Unlocking Long-Horizon Agentic Search with Large-Scale Asynchronous RL

August 11, 2025

papers.authors: Jiaxuan Gao, Wei Fu, Minyang Xie, Shusheng Xu, Chuyi He, Zhiyu Mei, Banghua Zhu, Yi Wu

cs.AI

papers.abstract

Jüngste Fortschritte bei LLM-basierten Agenten haben bemerkenswerte Fähigkeiten bei der Bewältigung komplexer, wissensintensiver Aufgaben durch die Integration externer Tools demonstriert. Unter den verschiedenen Tool-Optionen spielen Suchtools eine entscheidende Rolle beim Zugriff auf umfangreiches externes Wissen. Dennoch erreichen Open-Source-Agenten noch kein Expertenniveau in Bezug auf Suchintelligenz, also die Fähigkeit, mehrdeutige Anfragen zu lösen, präzise Suchen zu generieren, Ergebnisse zu analysieren und gründliche Explorationen durchzuführen. Bestehende Ansätze weisen Mängel in Bezug auf Skalierbarkeit, Effizienz und Datenqualität auf. Beispielsweise begrenzen kleine Zugriffslimits in bestehenden Online-RL-Methoden, z.B. <=10, das Erlernen komplexer Strategien. Dieses Papier stellt ASearcher vor, ein Open-Source-Projekt für das groß angelegte RL-Training von Suchagenten. Unsere wesentlichen Beiträge umfassen: (1) Skalierbares, vollständig asynchrones RL-Training, das langfristige Suchen ermöglicht und gleichzeitig eine hohe Trainingseffizienz beibehält. (2) Ein prompt-basierter LLM-Agent, der eigenständig hochwertige und herausfordernde QAs synthetisiert und so einen umfangreichen QA-Datensatz erstellt. Durch RL-Training erzielt unser prompt-basierter QwQ-32B-Agent erhebliche Verbesserungen, mit 46,7 % und 20,8 % Avg@4-Gewinnen auf xBench bzw. GAIA. Bemerkenswert ist, dass unser Agent extrem langfristige Suchen durchführt, mit Tool-Aufrufen, die 40 Zugriffe überschreiten, und Ausgabe-Tokens, die während der Trainingszeit 150k überschreiten. Mit einem einfachen Agenten-Design und ohne externe LLMs erreicht ASearcher-Web-QwQ Avg@4-Werte von 42,1 auf xBench und 52,8 auf GAIA und übertrifft damit bestehende Open-Source-32B-Agenten. Wir stellen unsere Modelle, Trainingsdaten und Codes unter https://github.com/inclusionAI/ASearcher zur Verfügung.

English

Recent advancements in LLM-based agents have demonstrated remarkable capabilities in handling complex, knowledge-intensive tasks by integrating external tools. Among diverse choices of tools, search tools play a pivotal role in accessing vast external knowledge. However, open-source agents still fall short of achieving expert-level Search Intelligence, the ability to resolve ambiguous queries, generate precise searches, analyze results, and conduct thorough exploration. Existing approaches fall short in scalability, efficiency, and data quality. For example, small turn limits in existing online RL methods, e.g. <=10, restrict complex strategy learning. This paper introduces ASearcher, an open-source project for large-scale RL training of search agents. Our key contributions include: (1) Scalable fully asynchronous RL training that enables long-horizon search while maintaining high training efficiency. (2) A prompt-based LLM agent that autonomously synthesizes high-quality and challenging QAs, creating a large-scale QA dataset. Through RL training, our prompt-based QwQ-32B agent achieves substantial improvements, with 46.7% and 20.8% Avg@4 gains on xBench and GAIA, respectively. Notably, our agent exhibits extreme long-horizon search, with tool calls exceeding 40 turns and output tokens exceeding 150k during training time. With a simple agent design and no external LLMs, ASearcher-Web-QwQ achieves Avg@4 scores of 42.1 on xBench and 52.8 on GAIA, surpassing existing open-source 32B agents. We open-source our models, training data, and codes in https://github.com/inclusionAI/ASearcher.