Optimización de políticas de memoria meta-cognitiva para agentes de LLM de horizonte largo

Resumen

Los agentes LLM con memoria aumentada abordan tareas complejas de largo alcance resumiendo recursivamente las trayectorias de interacción en memorias compactas. Sin embargo, los enfoques existentes típicamente entrenan estas políticas de memoria utilizando aprendizaje por refuerzo basado en resultados, sin localizar dónde se degrada la calidad de la memoria intermedia. A medida que las interacciones se desarrollan, los resúmenes recursivos ambiguos descartan progresivamente información relevante para la tarea e introducen ruido semántico. Esto exacerba la desviación de la creencia, oscureciendo la estimación del agente sobre el estado latente de la tarea y, en última instancia, desviando el razonamiento de largo alcance. Por lo tanto, argumentamos que la optimización de la memoria debería centrarse no solo en el éxito a nivel de trayectoria, sino en la claridad de la creencia inducida por los resúmenes intermedios. Con este fin, introducimos la Entropía de Creencia, un proxy auto-supervisado que sondea cuán incierto permanece el modelo sobre el estado latente de la tarea dada su memoria actual. Basándonos en este proxy, proponemos la Optimización de Política de Memoria Metacognitiva (MMPO). En lugar de depender únicamente de señales dispersas basadas en resultados, MMPO proporciona supervisión específica de la memoria y detallada al penalizar explícitamente los resúmenes que inducen alta incertidumbre epistémica. Los experimentos muestran que MMPO supera consistentemente a los métodos existentes en diversas tareas de largo alcance, manteniendo un rendimiento del 97.1% incluso cuando se escala a contextos de 1,75 millones de tokens.

English

Memory-augmented LLM agents tackle complex long-horizon tasks by recursively summarizing interaction trajectories into compact memory. However, existing approaches typically train these memory policies using outcome-based reinforcement learning, failing to localize where intermediate memory quality degrades. As interactions unfold, ambiguous recursive summaries progressively discard task-relevant information and introduce semantic noise. This exacerbates belief deviation, obscuring the agent's estimate of the latent task state and ultimately derailing long-horizon reasoning. We therefore argue that memory optimization should focus not merely on trajectory-level success, but on the clarity of the belief induced by intermediate summaries. To this end, we introduce Belief Entropy, a self-supervised proxy that probes how uncertain the model remains about the latent task state given its current memory. Based on this proxy, we propose Metacognitive Memory Policy Optimization (MMPO). Instead of relying only on sparse outcome-based signals, MMPO provides fine-grained, memory-specific supervision via explicitly penalizing summaries that induce high epistemic uncertainty. Experiments show that MMPO consistently outperforms existing methods on diverse long-horizon tasks, maintaining 97.1% performance even when scaled to 1.75M-token contexts.