Búsqueda por Autojuego: Empujando la Frontera de la Capacidad de los Agentes sin Supervisión

Search Self-play: Pushing the Frontier of Agent Capability without Supervision

October 21, 2025

Autores: Hongliang Lu, Yuhang Wen, Pengyu Cheng, Ruijin Ding, Haotian Xu, Jiaqi Guo, Chutian Wang, Haonan Chen, Xiaoxi Jiang, Guanjun Jiang

cs.AI

Resumen

El aprendizaje por refuerzo con recompensas verificables (RLVR) se ha convertido en la técnica principal para entrenar agentes de LLM. Sin embargo, el RLVR depende en gran medida de consultas de tareas bien elaboradas y sus respuestas de referencia correspondientes para proporcionar recompensas precisas, lo que requiere un esfuerzo humano masivo y obstaculiza los procesos de escalado del RL, especialmente en escenarios agentivos. Aunque algunos trabajos recientes exploran métodos de síntesis de tareas, la dificultad de las tareas agentivas generadas difícilmente puede controlarse para proporcionar ventajas efectivas en el entrenamiento de RL. Para lograr un RLVR agentivo con mayor escalabilidad, exploramos el entrenamiento de auto-juego para agentes de búsqueda profunda, en el cual el LLM en aprendizaje utiliza llamadas multi-turno a motores de búsqueda y actúa simultáneamente como proponente de tareas y solucionador de problemas. El proponente de tareas tiene como objetivo generar consultas de búsqueda profunda con respuestas de referencia bien definidas y una dificultad de tarea creciente. El solucionador de problemas intenta manejar las consultas de búsqueda generadas y producir las predicciones de respuesta correctas. Para garantizar que cada consulta de búsqueda generada tenga una verdad fundamental precisa, recopilamos todos los resultados de búsqueda de la trayectoria del proponente como conocimiento externo, y luego realizamos una generación aumentada por recuperación (RAG) para probar si la consulta propuesta puede responderse correctamente con todos los documentos de búsqueda necesarios proporcionados. En este juego de auto-juego de búsqueda (SSP), el proponente y el solucionador co-evolucionan sus capacidades agentivas mediante la competencia y la cooperación. Con resultados experimentales sustanciales, encontramos que el SSP puede mejorar significativamente el rendimiento de los agentes de búsqueda de manera uniforme en varios puntos de referencia sin ninguna supervisión, tanto en configuraciones de entrenamiento de RL desde cero como continuo. El código está en https://github.com/Alibaba-Quark/SSP.

English

Reinforcement learning with verifiable rewards (RLVR) has become the mainstream technique for training LLM agents. However, RLVR highly depends on well-crafted task queries and corresponding ground-truth answers to provide accurate rewards, which requires massive human efforts and hinders the RL scaling processes, especially under agentic scenarios. Although a few recent works explore task synthesis methods, the difficulty of generated agentic tasks can hardly be controlled to provide effective RL training advantages. To achieve agentic RLVR with higher scalability, we explore self-play training for deep search agents, in which the learning LLM utilizes multi-turn search engine calling and acts simultaneously as both a task proposer and a problem solver. The task proposer aims to generate deep search queries with well-defined ground-truth answers and increasing task difficulty. The problem solver tries to handle the generated search queries and output the correct answer predictions. To ensure that each generated search query has accurate ground truth, we collect all the searching results from the proposer's trajectory as external knowledge, then conduct retrieval-augmentation generation (RAG) to test whether the proposed query can be correctly answered with all necessary search documents provided. In this search self-play (SSP) game, the proposer and the solver co-evolve their agent capabilities through both competition and cooperation. With substantial experimental results, we find that SSP can significantly improve search agents' performance uniformly on various benchmarks without any supervision under both from-scratch and continuous RL training setups. The code is at https://github.com/Alibaba-Quark/SSP.