AutoMem: Automatisiertes Lernen des Gedächtnisses als kognitive Fähigkeit

Zusammenfassung

Gedächtnisexpertise ist eine erlernbare Fähigkeit: zu wissen, was kodiert, wann abgerufen und wie Wissen organisiert werden soll – eine Fähigkeit, die in der Kognitionswissenschaft als Metagedächtnis bezeichnet wird. Wir übertragen diese Perspektive auf LLMs, indem wir Gedächtnisverwaltung als trainierbare Fähigkeit behandeln. Wir erheben Dateisystemoperationen zu erstklassigen Gedächtnisaktionen neben Aufgabenaktionen, sodass das Modell selbst entscheiden kann, wie es sein Gedächtnis verwaltet. Diese Gedächtnisfähigkeit verbessert sich entlang zweier Achsen: der Struktur, die sie unterstützt (Prompts, Dateischemata, Aktionsvokabular), und der Kompetenz des Modells, das sie ausübt. Beide Achsen widersetzen sich manueller Optimierung: Episoden in langfristigen Aufgaben laufen über Tausende von Schritten, und ein einzelner Gedächtnisfehler kann sich lange verstecken, bevor er auftaucht, was eine menschliche Überprüfung vollständiger Trajektorien unpraktikabel macht. Wir stellen AutoMem vor, ein Framework, das beide Achsen automatisiert. In der ersten Schleife überprüft ein starkes LLM vollständige Agententrajektorien und überarbeitet iterativ die Gedächtnisstruktur, die bestimmt, wie der Agent mit seinen Gedächtnisdateien interagiert. In der zweiten Schleife werden die eigenen guten Gedächtnisentscheidungen des Agenten aus vielen Episoden identifiziert und als Trainingssignal genutzt, um die Gedächtniskompetenz des Modells direkt zu schärfen. In drei prozedural generierten langfristigen Spielen (Crafter, MiniHack und NetHack) verbesserte die alleinige Optimierung des Gedächtnisses – ohne Änderung des Aufgabenaktionsverhaltens des Modells – die Leistung des Basisagenten um etwa das 2- bis 4-fache und brachte ein 32B Open-Weight-Modell in Wettbewerb mit führenden Systemen wie Claude Opus 4.5 und Gemini 3.1 Pro Thinking. Unsere Ergebnisse zeigen, dass Gedächtnisverwaltung eine unabhängig erlernbare Fähigkeit ist und ein Hebelobjekt mit hoher Wirkung, das große Gewinne bei langfristigen Aufgaben erzielt.

English

Memory expertise is a learned skill: knowing what to encode, when to retrieve, and how to organize knowledge--a capacity known in cognitive science as metamemory. We bring this perspective to LLMs by treating memory management as a trainable skill. We promote file-system operations to first-class memory actions alongside task actions, letting the model itself decide how to manage its memory. This memory skill improves along two axes: the structure that supports it (prompts, file schemas, action vocabulary), and the proficiency of the model exercising it. Both axes resist manual optimization: episodes in long-horizon tasks run for thousands of steps, and a single memory mistake can hide long before it surfaces, making human review of full trajectories impractical. We introduce AutoMem, a framework that automates both axes. In the first loop, a strong LLM reviews complete agent trajectories and iteratively revises the memory structure that shapes how the agent interacts with its memory files. In the second loop, the agent's own good memory decisions are identified from many episodes and used as training signal to sharpen the model's memory proficiency directly. Across three procedurally generated long-horizon games (Crafter, MiniHack, and NetHack), optimizing memory alone--without modifying the model's task-action behavior--improved the base agent's performance ~2x-4x, bringing a 32B open-weight model competitive with frontier systems such as Claude Opus 4.5 and Gemini 3.1 Pro Thinking. Our results show that memory management is an independently learnable skill, and a high-leverage objective yielding large gains on long-horizon tasks.