AutoMem: Geautomatiseerd Leren van Geheugen als Cognitieve Vaardigheid

Samenvatting

Geheugenexpertise is een aangeleerde vaardigheid: weten wat te coderen, wanneer te onthouden en hoe kennis te organiseren – een vermogen dat in de cognitieve wetenschap bekendstaat als metageheugen. We brengen dit perspectief naar LLM's door geheugenbeheer te behandelen als een trainbare vaardigheid. We verheffen bestandssysteembewerkingen tot eersteklas geheugenacties naast taakacties, zodat het model zelf kan beslissen hoe het zijn geheugen beheert. Deze geheugenvaardigheid verbetert langs twee assen: de structuur die haar ondersteunt (prompts, bestandsschema's, actievocabulaire) en de bekwaamheid van het model dat haar uitoefent. Beide assen verzetten zich tegen handmatige optimalisatie: episoden in langetermijntaken omvatten duizenden stappen, en een enkele geheugenfout kan zich lang verbergen voordat hij aan het licht komt, waardoor menselijke beoordeling van volledige trajecten onpraktisch wordt. We introduceren AutoMem, een raamwerk dat beide assen automatiseert. In de eerste lus beoordeelt een sterk LLM volledige agenttrajecten en herziet iteratief de geheugenstructuur die bepaalt hoe de agent met zijn geheugenbestanden interageert. In de tweede lus worden de goede geheugenbeslissingen van de eigen agent uit vele episoden geïdentificeerd en gebruikt als trainingssignaal om de geheugenbekwaamheid van het model direct aan te scherpen. Over drie procedureel gegenereerde langetermijnspellen (Crafter, MiniHack en NetHack) verbeterde het optimaliseren van alleen het geheugen – zonder het taakactiegedrag van het model te wijzigen – de prestaties van de basisagent met ~2x-4x, waarmee een open-gewichttmodel van 32B concurrerend werd met grenssystemen zoals Claude Opus 4.5 en Gemini 3.1 Pro Thinking. Onze resultaten tonen aan dat geheugenbeheer een onafhankelijk leerbare vaardigheid is en een hefboomrijk doel dat grote winsten oplevert bij langetermijntaken.

English

Memory expertise is a learned skill: knowing what to encode, when to retrieve, and how to organize knowledge--a capacity known in cognitive science as metamemory. We bring this perspective to LLMs by treating memory management as a trainable skill. We promote file-system operations to first-class memory actions alongside task actions, letting the model itself decide how to manage its memory. This memory skill improves along two axes: the structure that supports it (prompts, file schemas, action vocabulary), and the proficiency of the model exercising it. Both axes resist manual optimization: episodes in long-horizon tasks run for thousands of steps, and a single memory mistake can hide long before it surfaces, making human review of full trajectories impractical. We introduce AutoMem, a framework that automates both axes. In the first loop, a strong LLM reviews complete agent trajectories and iteratively revises the memory structure that shapes how the agent interacts with its memory files. In the second loop, the agent's own good memory decisions are identified from many episodes and used as training signal to sharpen the model's memory proficiency directly. Across three procedurally generated long-horizon games (Crafter, MiniHack, and NetHack), optimizing memory alone--without modifying the model's task-action behavior--improved the base agent's performance ~2x-4x, bringing a 32B open-weight model competitive with frontier systems such as Claude Opus 4.5 and Gemini 3.1 Pro Thinking. Our results show that memory management is an independently learnable skill, and a high-leverage objective yielding large gains on long-horizon tasks.