Más allá de diez turnos: Desbloqueando la búsqueda agentiva de largo horizonte con aprendizaje por refuerzo asíncrono a gran escala
Beyond Ten Turns: Unlocking Long-Horizon Agentic Search with Large-Scale Asynchronous RL
August 11, 2025
Autores: Jiaxuan Gao, Wei Fu, Minyang Xie, Shusheng Xu, Chuyi He, Zhiyu Mei, Banghua Zhu, Yi Wu
cs.AI
Resumen
Los recientes avances en agentes basados en LLM han demostrado capacidades notables para manejar tareas complejas y con gran demanda de conocimiento mediante la integración de herramientas externas. Entre las diversas opciones de herramientas, las herramientas de búsqueda desempeñan un papel fundamental en el acceso a vastos conocimientos externos. Sin embargo, los agentes de código abierto aún no alcanzan un nivel experto en Inteligencia de Búsqueda, es decir, la capacidad de resolver consultas ambiguas, generar búsquedas precisas, analizar resultados y realizar exploraciones exhaustivas. Los enfoques existentes carecen de escalabilidad, eficiencia y calidad de datos. Por ejemplo, los límites reducidos de turnos en los métodos actuales de RL en línea, como <=10, restringen el aprendizaje de estrategias complejas. Este artículo presenta ASearcher, un proyecto de código abierto para el entrenamiento a gran escala de agentes de búsqueda mediante RL. Nuestras contribuciones clave incluyen: (1) Un entrenamiento RL completamente asíncrono y escalable que permite búsquedas de largo horizonte manteniendo una alta eficiencia en el entrenamiento. (2) Un agente LLM basado en prompts que sintetiza de manera autónoma preguntas y respuestas (QA) de alta calidad y desafiantes, creando un conjunto de datos QA a gran escala. Mediante el entrenamiento RL, nuestro agente QwQ-32B basado en prompts logra mejoras sustanciales, con ganancias de 46.7% y 20.8% en Avg@4 en xBench y GAIA, respectivamente. Notablemente, nuestro agente exhibe búsquedas de extremo largo horizonte, con llamadas a herramientas que superan los 40 turnos y tokens de salida que exceden los 150k durante el tiempo de entrenamiento. Con un diseño de agente simple y sin LLMs externos, ASearcher-Web-QwQ alcanza puntajes Avg@4 de 42.1 en xBench y 52.8 en GAIA, superando a los agentes de código abierto de 32B existentes. Hemos liberado nuestros modelos, datos de entrenamiento y códigos en https://github.com/inclusionAI/ASearcher.
English
Recent advancements in LLM-based agents have demonstrated remarkable
capabilities in handling complex, knowledge-intensive tasks by integrating
external tools. Among diverse choices of tools, search tools play a pivotal
role in accessing vast external knowledge. However, open-source agents still
fall short of achieving expert-level Search Intelligence, the ability to
resolve ambiguous queries, generate precise searches, analyze results, and
conduct thorough exploration. Existing approaches fall short in scalability,
efficiency, and data quality. For example, small turn limits in existing online
RL methods, e.g. <=10, restrict complex strategy learning. This paper
introduces ASearcher, an open-source project for large-scale RL training of
search agents. Our key contributions include: (1) Scalable fully asynchronous
RL training that enables long-horizon search while maintaining high training
efficiency. (2) A prompt-based LLM agent that autonomously synthesizes
high-quality and challenging QAs, creating a large-scale QA dataset. Through RL
training, our prompt-based QwQ-32B agent achieves substantial improvements,
with 46.7% and 20.8% Avg@4 gains on xBench and GAIA, respectively. Notably, our
agent exhibits extreme long-horizon search, with tool calls exceeding 40 turns
and output tokens exceeding 150k during training time. With a simple agent
design and no external LLMs, ASearcher-Web-QwQ achieves Avg@4 scores of 42.1 on
xBench and 52.8 on GAIA, surpassing existing open-source 32B agents. We
open-source our models, training data, and codes in
https://github.com/inclusionAI/ASearcher.