Otimização de Política de Memória Metacognitiva para Agentes LLM de Longo Horizonte

Resumo

Agentes LLM aumentados por memória lidam com tarefas complexas de horizonte longo ao resumir recursivamente trajetórias de interação em memória compacta. No entanto, as abordagens existentes tipicamente treinam essas políticas de memória usando aprendizagem por reforço baseada em resultados, falhando em localizar onde a qualidade da memória intermediária se degrada. À medida que as interações se desenrolam, resumos recursivos ambíguos descartam progressivamente informações relevantes para a tarefa e introduzem ruído semântico. Isso exacerba o desvio da crença, obscurecendo a estimativa do agente sobre o estado latente da tarefa e, em última análise, desviando o raciocínio de horizonte longo. Portanto, argumentamos que a otimização da memória deve focar não apenas no sucesso em nível de trajetória, mas na clareza da crença induzida pelos resumos intermediários. Para esse fim, introduzimos a Entropia da Crença, um proxy auto-supervisionado que investiga quão incerto o modelo permanece sobre o estado latente da tarefa dada sua memória atual. Com base nesse proxy, propomos a Otimização de Política de Memória Metacognitiva (MMPO). Em vez de depender apenas de sinais esparsos baseados em resultados, o MMPO fornece supervisão refinada e específica de memória, penalizando explicitamente resumos que induzem alta incerteza epistêmica. Experimentos mostram que o MMPO supera consistentemente os métodos existentes em diversas tarefas de horizonte longo, mantendo 97,1% do desempenho mesmo quando escalado para contextos de 1,75 milhão de tokens.

English

Memory-augmented LLM agents tackle complex long-horizon tasks by recursively summarizing interaction trajectories into compact memory. However, existing approaches typically train these memory policies using outcome-based reinforcement learning, failing to localize where intermediate memory quality degrades. As interactions unfold, ambiguous recursive summaries progressively discard task-relevant information and introduce semantic noise. This exacerbates belief deviation, obscuring the agent's estimate of the latent task state and ultimately derailing long-horizon reasoning. We therefore argue that memory optimization should focus not merely on trajectory-level success, but on the clarity of the belief induced by intermediate summaries. To this end, we introduce Belief Entropy, a self-supervised proxy that probes how uncertain the model remains about the latent task state given its current memory. Based on this proxy, we propose Metacognitive Memory Policy Optimization (MMPO). Instead of relying only on sparse outcome-based signals, MMPO provides fine-grained, memory-specific supervision via explicitly penalizing summaries that induce high epistemic uncertainty. Experiments show that MMPO consistently outperforms existing methods on diverse long-horizon tasks, maintaining 97.1% performance even when scaled to 1.75M-token contexts.