Recherche par Auto-Jeu : Repousser les Frontières des Capacités des Agents sans Supervision

Search Self-play: Pushing the Frontier of Agent Capability without Supervision

October 21, 2025

papers.authors: Hongliang Lu, Yuhang Wen, Pengyu Cheng, Ruijin Ding, Haotian Xu, Jiaqi Guo, Chutian Wang, Haonan Chen, Xiaoxi Jiang, Guanjun Jiang

cs.AI

papers.abstract

L'apprentissage par renforcement avec récompenses vérifiables (RLVR) est devenu la technique dominante pour entraîner les agents LLM. Cependant, le RLVR dépend fortement de requêtes de tâches bien conçues et de réponses de vérité terrain correspondantes pour fournir des récompenses précises, ce qui nécessite d'importants efforts humains et entrave les processus de mise à l'échelle du RL, particulièrement dans les scénarios agentiques. Bien que quelques travaux récents explorent des méthodes de synthèse de tâches, la difficulté des tâches agentiques générées est difficilement contrôlable pour offrir des avantages efficaces à l'entraînement par RL. Pour réaliser un RLVR agentique avec une meilleure scalabilité, nous explorons l'entraînement par auto-jeu pour les agents de recherche profonde, où le LLM apprenant utilise un appel multi-tours à un moteur de recherche et agit simultanément comme proposeur de tâches et solveur de problèmes. Le proposeur de tâches vise à générer des requêtes de recherche profonde avec des réponses de vérité terrain bien définies et une difficulté croissante. Le solveur de problèmes tente de traiter les requêtes de recherche générées et de produire les prédictions de réponse correctes. Pour garantir que chaque requête de recherche générée possède une vérité terrain précise, nous collectons tous les résultats de recherche de la trajectoire du proposeur comme connaissances externes, puis nous réalisons une génération augmentée par retrieval (RAG) pour tester si la requête proposée peut être correctement répondue lorsque tous les documents de recherche nécessaires sont fournis. Dans ce jeu d'auto-jeu de recherche (SSP), le proposeur et le solveur co-évoluent leurs capacités agentiques à travers à la fois la compétition et la coopération. Grâce à des résultats expérimentaux substantiels, nous constatons que le SSP peut améliorer significativement et uniformément les performances des agents de recherche sur divers benchmarks sans aucune supervision, que ce soit dans des configurations d'entraînement RL from scratch ou continu. Le code est disponible à l'adresse https://github.com/Alibaba-Quark/SSP.

English

Reinforcement learning with verifiable rewards (RLVR) has become the mainstream technique for training LLM agents. However, RLVR highly depends on well-crafted task queries and corresponding ground-truth answers to provide accurate rewards, which requires massive human efforts and hinders the RL scaling processes, especially under agentic scenarios. Although a few recent works explore task synthesis methods, the difficulty of generated agentic tasks can hardly be controlled to provide effective RL training advantages. To achieve agentic RLVR with higher scalability, we explore self-play training for deep search agents, in which the learning LLM utilizes multi-turn search engine calling and acts simultaneously as both a task proposer and a problem solver. The task proposer aims to generate deep search queries with well-defined ground-truth answers and increasing task difficulty. The problem solver tries to handle the generated search queries and output the correct answer predictions. To ensure that each generated search query has accurate ground truth, we collect all the searching results from the proposer's trajectory as external knowledge, then conduct retrieval-augmentation generation (RAG) to test whether the proposed query can be correctly answered with all necessary search documents provided. In this search self-play (SSP) game, the proposer and the solver co-evolve their agent capabilities through both competition and cooperation. With substantial experimental results, we find that SSP can significantly improve search agents' performance uniformly on various benchmarks without any supervision under both from-scratch and continuous RL training setups. The code is at https://github.com/Alibaba-Quark/SSP.