AutoMem: Aprendizaje Automatizado de la Memoria como una Habilidad Cognitiva

Resumen

La pericia en memoria es una habilidad aprendida: saber qué codificar, cuándo recuperar y cómo organizar el conocimiento (una capacidad conocida en ciencia cognitiva como metamemoria). Aplicamos esta perspectiva a los LLM tratando la gestión de la memoria como una habilidad entrenable. Elevamos las operaciones del sistema de archivos al rango de acciones de memoria de primera clase, junto con las acciones de tarea, permitiendo que el propio modelo decida cómo gestionar su memoria. Esta habilidad de memoria mejora a lo largo de dos ejes: la estructura que la sustenta (prompts, esquemas de archivos, vocabulario de acciones) y la competencia del modelo que la ejecuta. Ambos ejes resisten la optimización manual: los episodios en tareas de horizonte largo abarcan miles de pasos, y un único error de memoria puede ocultarse mucho antes de manifestarse, lo que hace que la revisión humana de trayectorias completas sea inviable. Presentamos AutoMem, un marco que automatiza ambos ejes. En el primer bucle, un LLM potente revisa las trayectorias completas del agente y revisa iterativamente la estructura de memoria que condiciona cómo interactúa el agente con sus archivos de memoria. En el segundo bucle, las propias decisiones correctas de memoria del agente se identifican a partir de muchos episodios y se utilizan como señal de entrenamiento para afinar directamente la competencia de memoria del modelo. En tres juegos de horizonte largo generados proceduralmente (Crafter, MiniHack y NetHack), optimizar únicamente la memoria, sin modificar el comportamiento de acción de tarea del modelo, mejoró el rendimiento del agente base aproximadamente entre 2 y 4 veces, llevando a un modelo de pesos abiertos de 32B a competir con sistemas de vanguardia como Claude Opus 4.5 y Gemini 3.1 Pro Thinking. Nuestros resultados muestran que la gestión de la memoria es una habilidad independientemente aprendible y un objetivo de alto apalancamiento que produce grandes ganancias en tareas de horizonte largo.

English

Memory expertise is a learned skill: knowing what to encode, when to retrieve, and how to organize knowledge--a capacity known in cognitive science as metamemory. We bring this perspective to LLMs by treating memory management as a trainable skill. We promote file-system operations to first-class memory actions alongside task actions, letting the model itself decide how to manage its memory. This memory skill improves along two axes: the structure that supports it (prompts, file schemas, action vocabulary), and the proficiency of the model exercising it. Both axes resist manual optimization: episodes in long-horizon tasks run for thousands of steps, and a single memory mistake can hide long before it surfaces, making human review of full trajectories impractical. We introduce AutoMem, a framework that automates both axes. In the first loop, a strong LLM reviews complete agent trajectories and iteratively revises the memory structure that shapes how the agent interacts with its memory files. In the second loop, the agent's own good memory decisions are identified from many episodes and used as training signal to sharpen the model's memory proficiency directly. Across three procedurally generated long-horizon games (Crafter, MiniHack, and NetHack), optimizing memory alone--without modifying the model's task-action behavior--improved the base agent's performance ~2x-4x, bringing a 32B open-weight model competitive with frontier systems such as Claude Opus 4.5 and Gemini 3.1 Pro Thinking. Our results show that memory management is an independently learnable skill, and a high-leverage objective yielding large gains on long-horizon tasks.