Agentische Politikoptimierung durch Co-Evolution von Instruktion und Politik

Agentic Policy Optimization via Instruction-Policy Co-Evolution

December 1, 2025

papers.authors: Han Zhou, Xingchen Wan, Ivan Vulić, Anna Korhonen

cs.AI

papers.abstract

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hat die Fähigkeit von Large Language Models (LLMs) zum logischen Schließen erweitert und ermöglicht autonomen Agenten, effektives mehrstufiges und werkzeugintegriertes Reasoning durchzuführen. Während Anweisungen das primäre Protokoll zur Definition von Agenten darstellen, stützt sich RLVR typischerweise auf statische, manuell gestaltete Anweisungen. Diese Anweisungen können jedoch für das Basismodell suboptimal sein, und die optimale Anweisung kann sich ändern, wenn sich die Policy des Agenten verbessert und die Interaktion mit der Umgebung erkundet. Um diese Lücke zu schließen, stellen wir INSPO vor, ein neuartiges Instruction-Policy-Co-Evolution-Framework, das die Anweisungsoptimierung als dynamische Komponente in die Reinforcement-Learning-(RL)-Schleife integriert. INSPO verwaltet einen dynamischen Pool von Anweisungskandidaten, die mit Fragen abgetastet werden, wobei Belohnungssignale in den RL-Schleifen automatisch jeder Anweisung zugerechnet werden und schlecht performende Anweisungen regelmäßig aussortiert werden. Neue Anweisungen werden durch einen On-Policy-Reflexionsmechanismus generiert und verifiziert, bei dem ein LLM-basierter Optimierer vergangene Erfahrungen aus einem Replay-Puffer analysiert und wirksamere Strategien angesichts der aktuellen Policy entwickelt. Wir führen umfangreiche Experimente zu mehrstufigen Retrieval- und Reasoning-Aufgaben durch, die zeigen, dass INSPO starke Baseline-Methoden, die auf statischen Anweisungen beruhen, erheblich übertrifft. INSPO entdeckt innovative Anweisungen, die den Agenten auf strategischere Reasoning-Pfade lenken und dabei substantiale Leistungssteigerungen bei nur marginal erhöhtem Rechenaufwand erzielen.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has advanced the reasoning capability of large language models (LLMs), enabling autonomous agents that can conduct effective multi-turn and tool-integrated reasoning. While instructions serve as the primary protocol for defining agents, RLVR typically relies on static and manually designed instructions. However, those instructions may be suboptimal for the base model, and the optimal instruction may change as the agent's policy improves and explores the interaction with the environment. To bridge the gap, we introduce INSPO, a novel Instruction-Policy co-evolution framework that integrates instruction optimization as a dynamic component of the reinforcement learning (RL) loop. INSPO maintains a dynamic population of instruction candidates that are sampled with questions, where reward signals in RL loops are automatically attributed to each instruction, and low performers are periodically pruned. New instructions are generated and verified through an on-policy reflection mechanism, where an LLM-based optimizer analyzes past experience from a replay buffer and evolves more effective strategies given the current policy. We conduct extensive experiments on multi-turn retrieval and reasoning tasks, demonstrating that INSPO substantially outperforms strong baselines relying on static instructions. INSPO discovers innovative instructions that guide the agent toward more strategic reasoning paths, achieving substantial performance gains with only a marginal increase in computational overhead.