Самостоятельный поиск в процессе самоигры: Расширение границ возможностей агентов без участия человека

Search Self-play: Pushing the Frontier of Agent Capability without Supervision

October 21, 2025

Авторы: Hongliang Lu, Yuhang Wen, Pengyu Cheng, Ruijin Ding, Haotian Xu, Jiaqi Guo, Chutian Wang, Haonan Chen, Xiaoxi Jiang, Guanjun Jiang

cs.AI

Аннотация

Обучение с подкреплением с верифицируемыми вознаграждениями (RLVR) стало основной технологией для тренировки агентов на основе больших языковых моделей (LLM). Однако RLVR сильно зависит от тщательно составленных задач-запросов и соответствующих им эталонных ответов для обеспечения точных вознаграждений, что требует значительных человеческих усилий и препятствует масштабированию процессов RL, особенно в агентских сценариях. Хотя несколько недавних работ исследуют методы синтеза задач, сложность генерируемых агентских задач сложно контролировать, чтобы обеспечить эффективные преимущества для RL-тренировки. Для достижения агентского RLVR с более высокой масштабируемостью мы исследуем обучение в режиме самоигры для агентов углубленного поиска, в котором обучающаяся LLM использует многоходовые вызовы поисковой системы и действует одновременно как постановщик задач и решатель проблем. Постановщик задач стремится генерировать запросы для углубленного поиска с четко определенными эталонными ответами и возрастающей сложностью задач. Решатель проблем пытается обработать сгенерированные поисковые запросы и выдать корректные предсказания ответов. Чтобы гарантировать, что каждый сгенерированный поисковый запрос имеет точный эталонный ответ, мы собираем все результаты поиска из траектории постановщика в качестве внешних знаний, а затем применяем генерацию с дополнением retrieval-augmentation generation (RAG), чтобы проверить, можно ли на предложенный запрос правильно ответить при наличии всех необходимых поисковых документов. В этой игре с поисковой самоигрой (Search Self-Play, SSP) постановщик и решатель совместно развивают свои агентские способности через конкуренцию и кооперацию. На основании значительных экспериментальных результатов мы обнаружили, что SSP может существенно и равномерно улучшить производительность поисковых агентов на различных бенчмарках без какого-либо контроля, как в условиях обучения RL с нуля, так и в условиях непрерывного обучения. Код доступен по адресу https://github.com/Alibaba-Quark/SSP.

English

Reinforcement learning with verifiable rewards (RLVR) has become the mainstream technique for training LLM agents. However, RLVR highly depends on well-crafted task queries and corresponding ground-truth answers to provide accurate rewards, which requires massive human efforts and hinders the RL scaling processes, especially under agentic scenarios. Although a few recent works explore task synthesis methods, the difficulty of generated agentic tasks can hardly be controlled to provide effective RL training advantages. To achieve agentic RLVR with higher scalability, we explore self-play training for deep search agents, in which the learning LLM utilizes multi-turn search engine calling and acts simultaneously as both a task proposer and a problem solver. The task proposer aims to generate deep search queries with well-defined ground-truth answers and increasing task difficulty. The problem solver tries to handle the generated search queries and output the correct answer predictions. To ensure that each generated search query has accurate ground truth, we collect all the searching results from the proposer's trajectory as external knowledge, then conduct retrieval-augmentation generation (RAG) to test whether the proposed query can be correctly answered with all necessary search documents provided. In this search self-play (SSP) game, the proposer and the solver co-evolve their agent capabilities through both competition and cooperation. With substantial experimental results, we find that SSP can significantly improve search agents' performance uniformly on various benchmarks without any supervision under both from-scratch and continuous RL training setups. The code is at https://github.com/Alibaba-Quark/SSP.