За пределами десяти ходов: раскрытие потенциала агентного поиска на длинных горизонтах с помощью масштабируемого асинхронного обучения с подкреплением

Beyond Ten Turns: Unlocking Long-Horizon Agentic Search with Large-Scale Asynchronous RL

August 11, 2025

Авторы: Jiaxuan Gao, Wei Fu, Minyang Xie, Shusheng Xu, Chuyi He, Zhiyu Mei, Banghua Zhu, Yi Wu

cs.AI

Аннотация

Последние достижения в области агентов на основе языковых моделей (LLM) продемонстрировали впечатляющие способности в решении сложных, насыщенных знаниями задач благодаря интеграции внешних инструментов. Среди разнообразия доступных инструментов поисковые системы играют ключевую роль в доступе к обширным внешним знаниям. Однако открытые агенты всё ещё не достигают уровня экспертного поискового интеллекта — способности разрешать неоднозначные запросы, генерировать точные поисковые запросы, анализировать результаты и проводить глубокое исследование. Существующие подходы уступают в масштабируемости, эффективности и качестве данных. Например, ограниченное количество шагов в существующих методах онлайн-обучения с подкреплением (RL), например, <=10, препятствует изучению сложных стратегий. В данной статье представлен ASearcher — открытый проект для масштабного обучения поисковых агентов с использованием RL. Наши ключевые вклады включают: (1) Масштабируемое полностью асинхронное обучение RL, которое позволяет проводить долгосрочный поиск при сохранении высокой эффективности обучения. (2) Агент на основе LLM с использованием подсказок, который автономно синтезирует высококачественные и сложные вопросы и ответы (QA), создавая масштабный набор данных QA. Благодаря обучению RL наш агент QwQ-32B на основе подсказок демонстрирует значительные улучшения, с приростом Avg@4 на 46,7% и 20,8% на xBench и GAIA соответственно. Примечательно, что наш агент демонстрирует экстремально долгосрочный поиск, с количеством вызовов инструментов, превышающим 40 шагов, и количеством выходных токенов, превышающим 150 тысяч во время обучения. С простым дизайном агента и без использования внешних LLM, ASearcher-Web-QwQ достигает Avg@4 показателей 42,1 на xBench и 52,8 на GAIA, превосходя существующие открытые агенты с 32B параметрами. Мы открываем доступ к нашим моделям, данным обучения и кодам на https://github.com/inclusionAI/ASearcher.

English

Recent advancements in LLM-based agents have demonstrated remarkable capabilities in handling complex, knowledge-intensive tasks by integrating external tools. Among diverse choices of tools, search tools play a pivotal role in accessing vast external knowledge. However, open-source agents still fall short of achieving expert-level Search Intelligence, the ability to resolve ambiguous queries, generate precise searches, analyze results, and conduct thorough exploration. Existing approaches fall short in scalability, efficiency, and data quality. For example, small turn limits in existing online RL methods, e.g. <=10, restrict complex strategy learning. This paper introduces ASearcher, an open-source project for large-scale RL training of search agents. Our key contributions include: (1) Scalable fully asynchronous RL training that enables long-horizon search while maintaining high training efficiency. (2) A prompt-based LLM agent that autonomously synthesizes high-quality and challenging QAs, creating a large-scale QA dataset. Through RL training, our prompt-based QwQ-32B agent achieves substantial improvements, with 46.7% and 20.8% Avg@4 gains on xBench and GAIA, respectively. Notably, our agent exhibits extreme long-horizon search, with tool calls exceeding 40 turns and output tokens exceeding 150k during training time. With a simple agent design and no external LLMs, ASearcher-Web-QwQ achieves Avg@4 scores of 42.1 on xBench and 52.8 on GAIA, surpassing existing open-source 32B agents. We open-source our models, training data, and codes in https://github.com/inclusionAI/ASearcher.