Auto-jogo de Busca: Expandindo a Fronteira da Capacidade de Agentes sem Supervisão

Search Self-play: Pushing the Frontier of Agent Capability without Supervision

October 21, 2025

Autores: Hongliang Lu, Yuhang Wen, Pengyu Cheng, Ruijin Ding, Haotian Xu, Jiaqi Guo, Chutian Wang, Haonan Chen, Xiaoxi Jiang, Guanjun Jiang

cs.AI

Resumo

O aprendizado por reforço com recompensas verificáveis (RLVR) tornou-se a técnica dominante para treinar agentes de LLM. No entanto, o RLVR depende fortemente de consultas de tarefas bem elaboradas e respostas verdadeiras correspondentes para fornecer recompensas precisas, o que exige esforços humanos massivos e dificulta os processos de escalonamento do RL, especialmente em cenários agentivos. Embora alguns trabalhos recentes explorem métodos de síntese de tarefas, a dificuldade das tarefas agentivas geradas dificilmente pode ser controlada para fornecer vantagens eficazes de treinamento RL. Para alcançar um RLVR agentivo com maior escalabilidade, exploramos o treinamento de autojogo para agentes de busca profunda, no qual o LLM em aprendizado utiliza chamadas de mecanismo de busca em múltiplas interações e atua simultaneamente como um proponente de tarefas e um resolvedor de problemas. O proponente de tarefas visa gerar consultas de busca profunda com respostas verdadeiras bem definidas e dificuldade crescente da tarefa. O resolvedor de problemas tenta lidar com as consultas de busca geradas e produzir as previsões de resposta corretas. Para garantir que cada consulta de busca gerada tenha uma verdade fundamental precisa, coletamos todos os resultados da busca da trajetória do proponente como conhecimento externo e, em seguida, conduzimos uma geração aumentada por recuperação (RAG) para testar se a consulta proposta pode ser respondida corretamente com todos os documentos de busca necessários fornecidos. Neste jogo de autojogo de busca (SSP), o proponente e o resolvedor co-evoluem suas capacidades agentivas por meio de competição e cooperação. Com resultados experimentais substanciais, descobrimos que o SSP pode melhorar significativa e uniformemente o desempenho dos agentes de busca em vários benchmarks sem qualquer supervisão, tanto em configurações de treinamento RL do zero quanto contínuo. O código está disponível em https://github.com/Alibaba-Quark/SSP.

English

Reinforcement learning with verifiable rewards (RLVR) has become the mainstream technique for training LLM agents. However, RLVR highly depends on well-crafted task queries and corresponding ground-truth answers to provide accurate rewards, which requires massive human efforts and hinders the RL scaling processes, especially under agentic scenarios. Although a few recent works explore task synthesis methods, the difficulty of generated agentic tasks can hardly be controlled to provide effective RL training advantages. To achieve agentic RLVR with higher scalability, we explore self-play training for deep search agents, in which the learning LLM utilizes multi-turn search engine calling and acts simultaneously as both a task proposer and a problem solver. The task proposer aims to generate deep search queries with well-defined ground-truth answers and increasing task difficulty. The problem solver tries to handle the generated search queries and output the correct answer predictions. To ensure that each generated search query has accurate ground truth, we collect all the searching results from the proposer's trajectory as external knowledge, then conduct retrieval-augmentation generation (RAG) to test whether the proposed query can be correctly answered with all necessary search documents provided. In this search self-play (SSP) game, the proposer and the solver co-evolve their agent capabilities through both competition and cooperation. With substantial experimental results, we find that SSP can significantly improve search agents' performance uniformly on various benchmarks without any supervision under both from-scratch and continuous RL training setups. The code is at https://github.com/Alibaba-Quark/SSP.