Agentisch Beleidsoptimalisatie via Co-Evolutie van Instructie en Beleid

Agentic Policy Optimization via Instruction-Policy Co-Evolution

December 1, 2025

Auteurs: Han Zhou, Xingchen Wan, Ivan Vulić, Anna Korhonen

cs.AI

Samenvatting

Reinforcement Learning met Verifieerbare Beloningen (RLVR) heeft het redeneervermogen van grote taalmodellen (LLM's) gevorderd, waardoor autonome agents effectieve meerronde en tool-geïntegreerde redenering kunnen uitvoeren. Hoewel instructies het primaire protocol vormen voor het definiëren van agents, vertrouwt RLVR doorgaans op statische en handmatig ontworpen instructies. Deze instructies kunnen echter suboptimaal zijn voor het basismodel, en de optimale instructie kan veranderen naarmate het beleid van de agent verbetert en de interactie met de omgeving verkent. Om deze kloof te overbruggen, introduceren we INSPO, een nieuw Instruction-Policy co-evolutiekader dat instructie-optimalisatie integreert als een dynamische component van de reinforcement learning (RL) loop. INSPO houdt een dynamische populatie van instructiekandidaten bij die worden bemonsterd met vragen, waarbij beloningssignalen in RL-lussen automatisch aan elke instructie worden toegeschreven en zwakke presteerders periodiek worden verwijderd. Nieuwe instructies worden gegenereerd en geverifieerd via een on-policy reflectiemechanisme, waarbij een op LLM gebaseerde optimizer eerdere ervaringen uit een replaybuffer analyseert en effectievere strategieën evolueert, gegeven het huidige beleid. We voeren uitgebreide experimenten uit voor meerronde retrieval- en redeneertaken, waaruit blijkt dat INSPO sterk presteert ten opzichte van sterke baseline-methoden die op statische instructies vertrouwen. INSPO ontdekt innovatieve instructies die de agent naar strategischer redeneerpaden leiden, wat aanzienlijke prestatieverbeteringen oplevert met slechts een marginale toename van de rekentijd.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has advanced the reasoning capability of large language models (LLMs), enabling autonomous agents that can conduct effective multi-turn and tool-integrated reasoning. While instructions serve as the primary protocol for defining agents, RLVR typically relies on static and manually designed instructions. However, those instructions may be suboptimal for the base model, and the optimal instruction may change as the agent's policy improves and explores the interaction with the environment. To bridge the gap, we introduce INSPO, a novel Instruction-Policy co-evolution framework that integrates instruction optimization as a dynamic component of the reinforcement learning (RL) loop. INSPO maintains a dynamic population of instruction candidates that are sampled with questions, where reward signals in RL loops are automatically attributed to each instruction, and low performers are periodically pruned. New instructions are generated and verified through an on-policy reflection mechanism, where an LLM-based optimizer analyzes past experience from a replay buffer and evolves more effective strategies given the current policy. We conduct extensive experiments on multi-turn retrieval and reasoning tasks, demonstrating that INSPO substantially outperforms strong baselines relying on static instructions. INSPO discovers innovative instructions that guide the agent toward more strategic reasoning paths, achieving substantial performance gains with only a marginal increase in computational overhead.