Optimización de Políticas Agénticas mediante la Co-Evolución de Instrucciones y Políticas
Agentic Policy Optimization via Instruction-Policy Co-Evolution
December 1, 2025
Autores: Han Zhou, Xingchen Wan, Ivan Vulić, Anna Korhonen
cs.AI
Resumen
El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) ha avanzado la capacidad de razonamiento de los modelos de lenguaje grandes (LLMs), permitiendo agentes autónomos que pueden llevar a cabo un razonamiento efectivo multi-turno e integrado con herramientas. Si bien las instrucciones sirven como el protocolo principal para definir a los agentes, el RLVR típicamente depende de instrucciones estáticas y diseñadas manualmente. Sin embargo, esas instrucciones pueden ser subóptimas para el modelo base, y la instrucción óptima puede cambiar a medida que la política del agente mejora y explora la interacción con el entorno. Para cerrar esta brecha, presentamos INSPO, un novedoso marco de co-evolución Instrucción-Política que integra la optimización de instrucciones como un componente dinámico del bucle de aprendizaje por refuerzo (RL). INSPO mantiene una población dinámica de candidatos de instrucción que son muestreados con preguntas, donde las señales de recompensa en los bucles de RL se atribuyen automáticamente a cada instrucción, y los candidatos de bajo rendimiento son podados periódicamente. Nuevas instrucciones son generadas y verificadas a través de un mecanismo de reflexión *on-policy*, donde un optimizador basado en LLM analiza experiencias pasadas de un búfer de repetición y evoluciona estrategias más efectivas dada la política actual. Realizamos experimentos exhaustivos en tareas de recuperación y razonamiento multi-turno, demostrando que INSPO supera sustancialmente a fuertes líneas base que dependen de instrucciones estáticas. INSPO descubre instrucciones innovadoras que guían al agente hacia trayectorias de razonamiento más estratégicas, logrando ganancias sustanciales de rendimiento con solo un aumento marginal en la sobrecarga computacional.
English
Reinforcement Learning with Verifiable Rewards (RLVR) has advanced the reasoning capability of large language models (LLMs), enabling autonomous agents that can conduct effective multi-turn and tool-integrated reasoning. While instructions serve as the primary protocol for defining agents, RLVR typically relies on static and manually designed instructions. However, those instructions may be suboptimal for the base model, and the optimal instruction may change as the agent's policy improves and explores the interaction with the environment. To bridge the gap, we introduce INSPO, a novel Instruction-Policy co-evolution framework that integrates instruction optimization as a dynamic component of the reinforcement learning (RL) loop. INSPO maintains a dynamic population of instruction candidates that are sampled with questions, where reward signals in RL loops are automatically attributed to each instruction, and low performers are periodically pruned. New instructions are generated and verified through an on-policy reflection mechanism, where an LLM-based optimizer analyzes past experience from a replay buffer and evolves more effective strategies given the current policy. We conduct extensive experiments on multi-turn retrieval and reasoning tasks, demonstrating that INSPO substantially outperforms strong baselines relying on static instructions. INSPO discovers innovative instructions that guide the agent toward more strategic reasoning paths, achieving substantial performance gains with only a marginal increase in computational overhead.