Zelfspelende Zoektocht: De Grens van Agentcapaciteit Verleggen zonder Toezicht

Samenvatting

Versterkend leren met verifieerbare beloningen (RLVR) is de mainstreamtechniek geworden voor het trainen van LLM-agents. RLVR is echter sterk afhankelijk van goed geformuleerde taakquery's en bijbehorende grond-waarheid-antwoorden om nauwkeurige beloningen te bieden, wat enorme menselijke inspanningen vereist en de RL-schaalprocessen belemmert, vooral in agent-scenario's. Hoewel enkele recente werken taaksynthesemethoden onderzoeken, is de moeilijkheidsgraad van gegenereerde agent-taken nauwelijks te controleren om effectieve RL-trainingsvoordelen te bieden. Om agent-RLVR met hogere schaalbaarheid te bereiken, onderzoeken we self-play training voor deep search agents, waarbij het lerende LLM multi-turn zoekmachine-aanroepen gebruikt en tegelijkertijd optreedt als zowel een taakvoorsteller als een probleemoplosser. De taakvoorsteller streeft ernaar deep search query's te genereren met goed gedefinieerde grond-waarheid-antwoorden en toenemende taakmoeilijkheid. De probleemoplosser probeert de gegenereerde zoekquery's af te handelen en correcte antwoordvoorspellingen te outputten. Om ervoor te zorgen dat elke gegenereerde zoekquery een accurate grond-waarheid heeft, verzamelen we alle zoekresultaten uit het traject van de voorsteller als externe kennis, en voeren we retrieval-augmented generation (RAG) uit om te testen of de voorgestelde query correct kan worden beantwoord wanneer alle benodigde zoekdocumenten worden verstrekt. In dit search self-play (SSP) spel evolueren de voorsteller en de oplosser hun agent-capaciteiten gezamenlijk door zowel competitie als samenwerking. Uit uitgebreide experimentele resultaten blijkt dat SSP de prestaties van zoekagents significant en uniform kan verbeteren op diverse benchmarks, zonder enige supervisie, in zowel from-scratch als doorlopende RL-trainingsopzetten. De code staat op https://github.com/Alibaba-Quark/SSP.

English

Reinforcement learning with verifiable rewards (RLVR) has become the mainstream technique for training LLM agents. However, RLVR highly depends on well-crafted task queries and corresponding ground-truth answers to provide accurate rewards, which requires massive human efforts and hinders the RL scaling processes, especially under agentic scenarios. Although a few recent works explore task synthesis methods, the difficulty of generated agentic tasks can hardly be controlled to provide effective RL training advantages. To achieve agentic RLVR with higher scalability, we explore self-play training for deep search agents, in which the learning LLM utilizes multi-turn search engine calling and acts simultaneously as both a task proposer and a problem solver. The task proposer aims to generate deep search queries with well-defined ground-truth answers and increasing task difficulty. The problem solver tries to handle the generated search queries and output the correct answer predictions. To ensure that each generated search query has accurate ground truth, we collect all the searching results from the proposer's trajectory as external knowledge, then conduct retrieval-augmentation generation (RAG) to test whether the proposed query can be correctly answered with all necessary search documents provided. In this search self-play (SSP) game, the proposer and the solver co-evolve their agent capabilities through both competition and cooperation. With substantial experimental results, we find that SSP can significantly improve search agents' performance uniformly on various benchmarks without any supervision under both from-scratch and continuous RL training setups. The code is at https://github.com/Alibaba-Quark/SSP.

Zelfspelende Zoektocht: De Grens van Agentcapaciteit Verleggen zonder Toezicht

Search Self-play: Pushing the Frontier of Agent Capability without Supervision

Samenvatting

Support