Otimização de Políticas Agênicas via Coevolução Instrução-Política

Agentic Policy Optimization via Instruction-Policy Co-Evolution

December 1, 2025

Autores: Han Zhou, Xingchen Wan, Ivan Vulić, Anna Korhonen

cs.AI

Resumo

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tem avançado a capacidade de raciocínio de grandes modelos de linguagem (LLMs), permitindo a criação de agentes autónomos que realizam raciocínio eficaz multi-turn e integrado com ferramentas. Embora as instruções sirvam como o protocolo principal para definir agentes, o RLVR normalmente depende de instruções estáticas e projetadas manualmente. No entanto, essas instruções podem ser subótimas para o modelo base, e a instrução ideal pode mudar à medida que a política do agente melhora e explora a interação com o ambiente. Para colmatar esta lacuna, introduzimos o INSPO, uma nova estrutura de co-evolução Instrução-Política que integra a otimização de instruções como um componente dinâmico do ciclo de aprendizagem por reforço (RL). O INSPO mantém uma população dinâmica de candidatos a instruções que são amostrados com questões, onde os sinais de recompensa nos ciclos de RL são automaticamente atribuídos a cada instrução, e os desempenhos mais fracos são periodicamente podados. Novas instruções são geradas e verificadas através de um mecanismo de reflexão *on-policy*, no qual um otimizador baseado em LLM analisa experiências passadas de um *replay buffer* e evolui estratégias mais eficazes dada a política atual. Realizamos experiências extensivas em tarefas de recuperação e raciocínio multi-turn, demonstrando que o INSPO supera substancialmente *baselines* robustos que dependem de instruções estáticas. O INSPO descobre instruções inovadoras que guiam o agente para caminhos de raciocínio mais estratégicos, alcançando ganhos substanciais de desempenho com apenas um aumento marginal na sobrecarga computacional.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has advanced the reasoning capability of large language models (LLMs), enabling autonomous agents that can conduct effective multi-turn and tool-integrated reasoning. While instructions serve as the primary protocol for defining agents, RLVR typically relies on static and manually designed instructions. However, those instructions may be suboptimal for the base model, and the optimal instruction may change as the agent's policy improves and explores the interaction with the environment. To bridge the gap, we introduce INSPO, a novel Instruction-Policy co-evolution framework that integrates instruction optimization as a dynamic component of the reinforcement learning (RL) loop. INSPO maintains a dynamic population of instruction candidates that are sampled with questions, where reward signals in RL loops are automatically attributed to each instruction, and low performers are periodically pruned. New instructions are generated and verified through an on-policy reflection mechanism, where an LLM-based optimizer analyzes past experience from a replay buffer and evolves more effective strategies given the current policy. We conduct extensive experiments on multi-turn retrieval and reasoning tasks, demonstrating that INSPO substantially outperforms strong baselines relying on static instructions. INSPO discovers innovative instructions that guide the agent toward more strategic reasoning paths, achieving substantial performance gains with only a marginal increase in computational overhead.