Метакогнитивная оптимизация политики памяти для агентов LLM с долгосрочным горизонтом принятия решений

Аннотация

Агенты на основе LLM с расширенной памятью решают сложные задачи с длинным горизонтом, рекурсивно обобщая траектории взаимодействий в компактную память. Однако существующие подходы обычно обучают такие политики памяти с помощью обучения с подкреплением, основанного на исходе, что не позволяет локализовать ухудшение качества промежуточной памяти. По мере развертывания взаимодействий неоднозначные рекурсивные обобщения постепенно отбрасывают релевантную задаче информацию и вносят семантический шум. Это усиливает отклонение убеждения, затрудняя оценку агентом скрытого состояния задачи и в конечном итоге нарушая рассуждения с длинным горизонтом. Поэтому мы утверждаем, что оптимизация памяти должна быть сосредоточена не только на успешности траекторий, но и на четкости убеждения, формируемого промежуточными обобщениями. Для этого мы вводим энтропию убеждения — самонастраиваемый прокси, который оценивает, насколько неопределенной остается модель относительно скрытого состояния задачи при текущей памяти. На основе этого прокси мы предлагаем метакогнитивную оптимизацию политики памяти (MMPO). Вместо опоры только на разреженные сигналы, основанные на исходе, MMPO обеспечивает детализированное, специфичное для памяти управление, явно штрафуя обобщения, приводящие к высокой эпистемической неопределенности. Эксперименты показывают, что MMPO стабильно превосходит существующие методы в разнообразных задачах с длинным горизонтом, сохраняя 97,1% производительности даже при масштабировании до контекстов длиной 1,75 млн токенов.

English

Memory-augmented LLM agents tackle complex long-horizon tasks by recursively summarizing interaction trajectories into compact memory. However, existing approaches typically train these memory policies using outcome-based reinforcement learning, failing to localize where intermediate memory quality degrades. As interactions unfold, ambiguous recursive summaries progressively discard task-relevant information and introduce semantic noise. This exacerbates belief deviation, obscuring the agent's estimate of the latent task state and ultimately derailing long-horizon reasoning. We therefore argue that memory optimization should focus not merely on trajectory-level success, but on the clarity of the belief induced by intermediate summaries. To this end, we introduce Belief Entropy, a self-supervised proxy that probes how uncertain the model remains about the latent task state given its current memory. Based on this proxy, we propose Metacognitive Memory Policy Optimization (MMPO). Instead of relying only on sparse outcome-based signals, MMPO provides fine-grained, memory-specific supervision via explicitly penalizing summaries that induce high epistemic uncertainty. Experiments show that MMPO consistently outperforms existing methods on diverse long-horizon tasks, maintaining 97.1% performance even when scaled to 1.75M-token contexts.