Selbstspiel-Suche: Die Grenzen der Fähigkeiten von Agenten ohne Aufsicht erweitern

papers.abstract

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hat sich zur Haupttechnik für das Training von LLM-Agenten entwickelt. RLVR ist jedoch stark auf sorgfältig gestellte Aufgabenabfragen und entsprechende Ground-Truth-Antworten angewiesen, um genaue Belohnungen zu liefern, was einen hohen manuellen Aufwand erfordert und die RL-Skalierungsprozesse behindert, insbesondere in agentenbasierten Szenarien. Obwohl einige neuere Arbeiten Methoden zur Aufgabensynthese untersuchen, lässt sich der Schwierigkeitsgrad generierter agentenbasierter Aufgaben kaum kontrollieren, um effektive Trainingsvorteile für RL zu bieten. Um agentenbasiertes RLVR mit höherer Skalierbarkeit zu erreichen, untersuchen wir Self-Play-Training für tiefe Suchagenten, bei dem das lernende LLM mehrstufige Suchmaschinenaufrufe nutzt und gleichzeitig sowohl als Aufgabensteller als auch als Problemlöser agiert. Der Aufgabensteller zielt darauf ab, tiefgehende Suchanfragen mit klar definierten Ground-Truth-Antworten und steigendem Schwierigkeitsgrad zu generieren. Der Problemlöser versucht, die generierten Suchanfragen zu bearbeiten und korrekte Antwortvorhersagen auszugeben. Um sicherzustellen, dass jede generierte Suchanfrage eine genaue Ground-Truth-Antwort hat, erfassen wir alle Suchergebnisse aus der Trajektorie des Aufgabenstellers als externes Wissen und führen dann eine retrieval-augmentierte Generierung (RAG) durch, um zu testen, ob die gestellte Anfrage korrekt beantwortet werden kann, wenn alle notwendigen Suchdokumente bereitgestellt werden. In diesem Such-Self-Play (SSP)-Spiel entwickeln der Aufgabensteller und der Problemlöser ihre Agentenfähigkeiten durch Wettbewerb und Kooperation gemeinsam weiter. Anhand umfangreicher experimenteller Ergebnisse stellen wir fest, dass SSP die Leistung von Suchagenten einheitlich auf verschiedenen Benchmarks sowohl unter Neu- als auch unter Fortführungstrainings-Setups für RL ohne jegliche Beaufsichtigung signifikant verbessern kann. Der Code ist unter https://github.com/Alibaba-Quark/SSP verfügbar.

English

Reinforcement learning with verifiable rewards (RLVR) has become the mainstream technique for training LLM agents. However, RLVR highly depends on well-crafted task queries and corresponding ground-truth answers to provide accurate rewards, which requires massive human efforts and hinders the RL scaling processes, especially under agentic scenarios. Although a few recent works explore task synthesis methods, the difficulty of generated agentic tasks can hardly be controlled to provide effective RL training advantages. To achieve agentic RLVR with higher scalability, we explore self-play training for deep search agents, in which the learning LLM utilizes multi-turn search engine calling and acts simultaneously as both a task proposer and a problem solver. The task proposer aims to generate deep search queries with well-defined ground-truth answers and increasing task difficulty. The problem solver tries to handle the generated search queries and output the correct answer predictions. To ensure that each generated search query has accurate ground truth, we collect all the searching results from the proposer's trajectory as external knowledge, then conduct retrieval-augmentation generation (RAG) to test whether the proposed query can be correctly answered with all necessary search documents provided. In this search self-play (SSP) game, the proposer and the solver co-evolve their agent capabilities through both competition and cooperation. With substantial experimental results, we find that SSP can significantly improve search agents' performance uniformly on various benchmarks without any supervision under both from-scratch and continuous RL training setups. The code is at https://github.com/Alibaba-Quark/SSP.

Selbstspiel-Suche: Die Grenzen der Fähigkeiten von Agenten ohne Aufsicht erweitern

Search Self-play: Pushing the Frontier of Agent Capability without Supervision

papers.abstract

Support