AutoMem: Aprendizagem Automatizada da Memória como Habilidade Cognitiva

Resumo

A expertise em memória é uma habilidade aprendida: saber o que codificar, quando recuperar e como organizar o conhecimento – uma capacidade conhecida na ciência cognitiva como metamemória. Trazemos essa perspectiva para os LLMs ao tratar o gerenciamento de memória como uma habilidade treinável. Promovemos operações de sistema de arquivos a ações de memória de primeira classe, lado a lado com ações de tarefa, permitindo que o próprio modelo decida como gerenciar sua memória. Essa habilidade de memória aprimora-se ao longo de dois eixos: a estrutura que a suporta (prompts, esquemas de arquivos, vocabulário de ações) e a proficiência do modelo que a exerce. Ambos os eixos resistem à otimização manual: episódios em tarefas de horizonte longo se estendem por milhares de passos, e um único erro de memória pode ficar oculto muito antes de se manifestar, tornando a revisão humana de trajetórias completas impraticável. Apresentamos o AutoMem, um framework que automatiza ambos os eixos. No primeiro loop, um LLM forte revisa trajetórias completas do agente e revisa iterativamente a estrutura de memória que molda como o agente interage com seus arquivos de memória. No segundo loop, as próprias boas decisões de memória do agente são identificadas a partir de muitos episódios e usadas como sinal de treinamento para aprimorar diretamente a proficiência em memória do modelo. Em três jogos de horizonte longo gerados proceduralmente (Crafter, MiniHack e NetHack), otimizar apenas a memória – sem modificar o comportamento de ações de tarefa do modelo – melhorou o desempenho do agente base em aproximadamente 2x a 4x, tornando um modelo de peso aberto de 32B competitivo com sistemas de ponta como Claude Opus 4.5 e Gemini 3.1 Pro Thinking. Nossos resultados mostram que o gerenciamento de memória é uma habilidade independentemente aprendível e um objetivo de alta alavancagem que produz grandes ganhos em tarefas de horizonte longo.

English

Memory expertise is a learned skill: knowing what to encode, when to retrieve, and how to organize knowledge--a capacity known in cognitive science as metamemory. We bring this perspective to LLMs by treating memory management as a trainable skill. We promote file-system operations to first-class memory actions alongside task actions, letting the model itself decide how to manage its memory. This memory skill improves along two axes: the structure that supports it (prompts, file schemas, action vocabulary), and the proficiency of the model exercising it. Both axes resist manual optimization: episodes in long-horizon tasks run for thousands of steps, and a single memory mistake can hide long before it surfaces, making human review of full trajectories impractical. We introduce AutoMem, a framework that automates both axes. In the first loop, a strong LLM reviews complete agent trajectories and iteratively revises the memory structure that shapes how the agent interacts with its memory files. In the second loop, the agent's own good memory decisions are identified from many episodes and used as training signal to sharpen the model's memory proficiency directly. Across three procedurally generated long-horizon games (Crafter, MiniHack, and NetHack), optimizing memory alone--without modifying the model's task-action behavior--improved the base agent's performance ~2x-4x, bringing a 32B open-weight model competitive with frontier systems such as Claude Opus 4.5 and Gemini 3.1 Pro Thinking. Our results show that memory management is an independently learnable skill, and a high-leverage objective yielding large gains on long-horizon tasks.