Além de Dez Turnos: Desbloqueando Busca Agente de Longo Horizonte com Aprendizado por Reforço Assíncrono em Larga Escala

Beyond Ten Turns: Unlocking Long-Horizon Agentic Search with Large-Scale Asynchronous RL

August 11, 2025

Autores: Jiaxuan Gao, Wei Fu, Minyang Xie, Shusheng Xu, Chuyi He, Zhiyu Mei, Banghua Zhu, Yi Wu

cs.AI

Resumo

Os avanços recentes em agentes baseados em LLM demonstraram capacidades notáveis no tratamento de tarefas complexas e intensivas em conhecimento, integrando ferramentas externas. Entre as diversas opções de ferramentas, as ferramentas de busca desempenham um papel fundamental no acesso a vastos conhecimentos externos. No entanto, os agentes de código aberto ainda não alcançam a Inteligência de Busca em nível de especialista, que é a capacidade de resolver consultas ambíguas, gerar buscas precisas, analisar resultados e conduzir explorações minuciosas. As abordagens existentes apresentam deficiências em escalabilidade, eficiência e qualidade dos dados. Por exemplo, os limites curtos de turnos nos métodos de RL online existentes, por exemplo, <=10, restringem o aprendizado de estratégias complexas. Este artigo apresenta o ASearcher, um projeto de código aberto para treinamento de RL em larga escala de agentes de busca. Nossas principais contribuições incluem: (1) Treinamento de RL totalmente assíncrono e escalável que permite buscas de longo horizonte, mantendo alta eficiência de treinamento. (2) Um agente LLM baseado em prompts que sintetiza de forma autônoma QAs de alta qualidade e desafiadores, criando um grande conjunto de dados de QAs. Através do treinamento de RL, nosso agente QwQ-32B baseado em prompts alcança melhorias substanciais, com ganhos de 46,7% e 20,8% em Avg@4 no xBench e GAIA, respectivamente. Notavelmente, nosso agente exibe busca de extremo longo horizonte, com chamadas de ferramentas excedendo 40 turnos e tokens de saída excedendo 150k durante o tempo de treinamento. Com um design simples de agente e sem LLMs externos, o ASearcher-Web-QwQ alcança pontuações Avg@4 de 42,1 no xBench e 52,8 no GAIA, superando os agentes de código aberto de 32B existentes. Disponibilizamos nossos modelos, dados de treinamento e códigos em https://github.com/inclusionAI/ASearcher.

English

Recent advancements in LLM-based agents have demonstrated remarkable capabilities in handling complex, knowledge-intensive tasks by integrating external tools. Among diverse choices of tools, search tools play a pivotal role in accessing vast external knowledge. However, open-source agents still fall short of achieving expert-level Search Intelligence, the ability to resolve ambiguous queries, generate precise searches, analyze results, and conduct thorough exploration. Existing approaches fall short in scalability, efficiency, and data quality. For example, small turn limits in existing online RL methods, e.g. <=10, restrict complex strategy learning. This paper introduces ASearcher, an open-source project for large-scale RL training of search agents. Our key contributions include: (1) Scalable fully asynchronous RL training that enables long-horizon search while maintaining high training efficiency. (2) A prompt-based LLM agent that autonomously synthesizes high-quality and challenging QAs, creating a large-scale QA dataset. Through RL training, our prompt-based QwQ-32B agent achieves substantial improvements, with 46.7% and 20.8% Avg@4 gains on xBench and GAIA, respectively. Notably, our agent exhibits extreme long-horizon search, with tool calls exceeding 40 turns and output tokens exceeding 150k during training time. With a simple agent design and no external LLMs, ASearcher-Web-QwQ achieves Avg@4 scores of 42.1 on xBench and 52.8 on GAIA, surpassing existing open-source 32B agents. We open-source our models, training data, and codes in https://github.com/inclusionAI/ASearcher.