AutoMem : Apprentissage automatisé de la mémoire en tant que compétence cognitive

Résumé

La maîtrise de la mémoire est une compétence acquise : savoir quoi encoder, quand récupérer et comment organiser les connaissances – une capacité connue en sciences cognitives sous le nom de métamémoire. Nous appliquons cette perspective aux LLM en traitant la gestion de la mémoire comme une compétence entraînable. Nous élevons les opérations du système de fichiers au rang d'actions de mémoire de première classe, aux côtés des actions liées à la tâche, permettant ainsi au modèle lui-même de décider comment gérer sa mémoire. Cette compétence mémorielle s'améliore selon deux axes : la structure qui la soutient (instructions, schémas de fichiers, vocabulaire d'actions) et la maîtrise du modèle qui l'exerce. Ces deux axes résistent à l'optimisation manuelle : les épisodes dans les tâches à long horizon s'étendent sur des milliers d'étapes, et une seule erreur de mémoire peut rester cachée longtemps avant d'apparaître, rendant la révision humaine des trajectoires complètes impraticable. Nous présentons AutoMem, un cadre qui automatise les deux axes. Dans la première boucle, un LLM puissant examine les trajectoires complètes de l'agent et révise de manière itérative la structure de mémoire qui façonne la manière dont l'agent interagit avec ses fichiers mémoire. Dans la seconde boucle, les bonnes décisions mémorielles de l'agent lui-même sont identifiées à partir de nombreux épisodes et utilisées comme signal d'entraînement pour affiner directement la compétence mémorielle du modèle. Sur trois jeux à long horizon générés procéduralement (Crafter, MiniHack et NetHack), l'optimisation de la mémoire seule – sans modifier le comportement d'action de tâche du modèle – a amélioré les performances de l'agent de base d'environ 2 à 4 fois, rendant un modèle à poids ouverts de 32B compétitif avec des systèmes de pointe tels que Claude Opus 4.5 et Gemini 3.1 Pro Thinking. Nos résultats montrent que la gestion de la mémoire est une compétence apprenable de manière indépendante, et un objectif à fort effet de levier générant des gains importants sur les tâches à long horizon.

English

Memory expertise is a learned skill: knowing what to encode, when to retrieve, and how to organize knowledge--a capacity known in cognitive science as metamemory. We bring this perspective to LLMs by treating memory management as a trainable skill. We promote file-system operations to first-class memory actions alongside task actions, letting the model itself decide how to manage its memory. This memory skill improves along two axes: the structure that supports it (prompts, file schemas, action vocabulary), and the proficiency of the model exercising it. Both axes resist manual optimization: episodes in long-horizon tasks run for thousands of steps, and a single memory mistake can hide long before it surfaces, making human review of full trajectories impractical. We introduce AutoMem, a framework that automates both axes. In the first loop, a strong LLM reviews complete agent trajectories and iteratively revises the memory structure that shapes how the agent interacts with its memory files. In the second loop, the agent's own good memory decisions are identified from many episodes and used as training signal to sharpen the model's memory proficiency directly. Across three procedurally generated long-horizon games (Crafter, MiniHack, and NetHack), optimizing memory alone--without modifying the model's task-action behavior--improved the base agent's performance ~2x-4x, bringing a 32B open-weight model competitive with frontier systems such as Claude Opus 4.5 and Gemini 3.1 Pro Thinking. Our results show that memory management is an independently learnable skill, and a high-leverage objective yielding large gains on long-horizon tasks.