AutoMem: Автоматизированное обучение памяти как когнитивному навыку

Аннотация

Экспертность в работе с памятью — это приобретаемый навык: умение понимать, что кодировать, когда извлекать информацию и как организовывать знания. В когнитивной науке эта способность известна как метапамять. Мы применяем данный подход к большим языковым моделям (LLM), рассматривая управление памятью как обучаемый навык. Мы переводим файловые операции в разряд полноправных действий с памятью наряду с действиями по выполнению задач, позволяя самой модели решать, как управлять своей памятью. Этот навык работы с памятью совершенствуется по двум направлениям: по структуре, которая его поддерживает (подсказки, схемы файлов, набор действий), и по уровню владения моделью, которая его применяет. Оба направления сопротивляются ручной оптимизации: эпизоды в долгосрочных задачах насчитывают тысячи шагов, а единственная ошибка в памяти может скрываться задолго до того, как проявится, что делает ручной просмотр полных траекторий непрактичным. Мы представляем AutoMem — фреймворк, который автоматизирует оба направления. В первом цикле сильная LLM проверяет полные траектории агента и итеративно пересматривает структуру памяти, определяющую то, как агент взаимодействует со своими файлами памяти. Во втором цикле удачные решения агента по управлению памятью выявляются из множества эпизодов и используются в качестве обучающего сигнала для прямого улучшения его навыков работы с памятью. В трех процедурно сгенерированных долгосрочных играх (Crafter, MiniHack и NetHack) оптимизация только памяти — без изменения поведения агента при выполнении задачи — улучшила производительность базового агента примерно в 2–4 раза, позволив открытой модели с 32B параметров конкурировать с передовыми системами, такими как Claude Opus 4.5 и Gemini 3.1 Pro Thinking. Наши результаты показывают, что управление памятью является независимо обучаемым навыком и высокоэффективной целью, обеспечивающей значительный прирост в долгосрочных задачах.

English

Memory expertise is a learned skill: knowing what to encode, when to retrieve, and how to organize knowledge--a capacity known in cognitive science as metamemory. We bring this perspective to LLMs by treating memory management as a trainable skill. We promote file-system operations to first-class memory actions alongside task actions, letting the model itself decide how to manage its memory. This memory skill improves along two axes: the structure that supports it (prompts, file schemas, action vocabulary), and the proficiency of the model exercising it. Both axes resist manual optimization: episodes in long-horizon tasks run for thousands of steps, and a single memory mistake can hide long before it surfaces, making human review of full trajectories impractical. We introduce AutoMem, a framework that automates both axes. In the first loop, a strong LLM reviews complete agent trajectories and iteratively revises the memory structure that shapes how the agent interacts with its memory files. In the second loop, the agent's own good memory decisions are identified from many episodes and used as training signal to sharpen the model's memory proficiency directly. Across three procedurally generated long-horizon games (Crafter, MiniHack, and NetHack), optimizing memory alone--without modifying the model's task-action behavior--improved the base agent's performance ~2x-4x, bringing a 32B open-weight model competitive with frontier systems such as Claude Opus 4.5 and Gemini 3.1 Pro Thinking. Our results show that memory management is an independently learnable skill, and a high-leverage objective yielding large gains on long-horizon tasks.