Агентная оптимизация политики посредством коэволюции инструкций и политик

Agentic Policy Optimization via Instruction-Policy Co-Evolution

December 1, 2025

Авторы: Han Zhou, Xingchen Wan, Ivan Vulić, Anna Korhonen

cs.AI

Аннотация

Обучение с подкреплением с верифицируемыми вознаграждениями (RLVR) расширило способности крупных языковых моделей (LLM) к рассуждению, позволив создавать автономных агентов, способных выполнять эффективные многошаговые рассуждения с интеграцией инструментов. Хотя инструкции служат основным протоколом для определения поведения агентов, RLVR обычно опирается на статические, созданные вручную инструкции. Однако эти инструкции могут быть неоптимальными для базовой модели, а оптимальная инструкция может меняться по мере улучшения политики агента и исследования взаимодействия со средой. Чтобы устранить этот разрыв, мы представляем INSPO — новую框架 co-эволюции инструкций и политики, которая интегрирует оптимизацию инструкций как динамический компонент в цикл обучения с подкреплением (RL). INSPO поддерживает динамическую популяцию кандидатов в инструкции, которые семплируются вместе с вопросами; сигналы вознаграждения в циклах RL автоматически присваиваются каждой инструкции, а аутсайдеры периодически отсеиваются. Новые инструкции генерируются и проверяются с помощью механизма on-policy рефлексии, в рамках которого LLM-оптимизатор анализирует прошлый опыт из буфера воспроизведения и развивает более эффективные стратегии с учётом текущей политики. Мы проводим обширные эксперименты на задачах многошагового поиска и рассуждений, демонстрируя, что INSPO существенно превосходит сильные базовые методы, основанные на статических инструкциях. INSPO обнаруживает инновационные инструкции, которые направляют агента по более стратегическим путям рассуждения, обеспечивая значительный прирост производительности при лишь незначительном увеличении вычислительных затрат.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has advanced the reasoning capability of large language models (LLMs), enabling autonomous agents that can conduct effective multi-turn and tool-integrated reasoning. While instructions serve as the primary protocol for defining agents, RLVR typically relies on static and manually designed instructions. However, those instructions may be suboptimal for the base model, and the optimal instruction may change as the agent's policy improves and explores the interaction with the environment. To bridge the gap, we introduce INSPO, a novel Instruction-Policy co-evolution framework that integrates instruction optimization as a dynamic component of the reinforcement learning (RL) loop. INSPO maintains a dynamic population of instruction candidates that are sampled with questions, where reward signals in RL loops are automatically attributed to each instruction, and low performers are periodically pruned. New instructions are generated and verified through an on-policy reflection mechanism, where an LLM-based optimizer analyzes past experience from a replay buffer and evolves more effective strategies given the current policy. We conduct extensive experiments on multi-turn retrieval and reasoning tasks, demonstrating that INSPO substantially outperforms strong baselines relying on static instructions. INSPO discovers innovative instructions that guide the agent toward more strategic reasoning paths, achieving substantial performance gains with only a marginal increase in computational overhead.