AutoMem: 인지 기술로서의 기억 자동 학습

초록

메모리 전문성은 학습 가능한 기술이다. 즉, 무엇을 인코딩할지, 언제 검색할지, 지식을 어떻게 조직할지 아는 능력으로, 인지과학에서는 메타기억(metamemory)이라고 부른다. 우리는 이러한 관점을 대규모 언어 모델(LLM)에 적용하여 메모리 관리를 훈련 가능한 기술로 다룬다. 파일 시스템 연산을 작업 행동과 더불어 일급 메모리 행동(first-class memory actions)으로 승격시켜, 모델 스스로 메모리 관리 방법을 결정하게 한다. 이 메모리 기술은 두 가지 축을 따라 향상된다. 이를 지원하는 구조(프롬프트, 파일 스키마, 행동 어휘)와 이를 실행하는 모델의 숙련도이다. 두 축 모두 수동 최적화에 저항한다. 장기 과제의 에피소드는 수천 단계로 실행되며, 단 한 번의 메모리 실수도 오랫동안 드러나지 않을 수 있어 전체 궤적(trajectory)에 대한 인간의 검토가 비실용적이다. 우리는 두 축을 모두 자동화하는 프레임워크인 AutoMem을 소개한다. 첫 번째 루프에서는 강력한 LLM이 에이전트의 전체 궤적을 검토하고 에이전트가 메모리 파일과 상호작용하는 방식을 형성하는 메모리 구조를 반복적으로 수정한다. 두 번째 루프에서는 많은 에피소드에서 에이전트 자체의 좋은 메모리 결정을 식별하여 훈련 신호로 사용함으로써 모델의 메모리 숙련도를 직접 향상시킨다. 절차적으로 생성된 세 가지 장기 과제(Crafter, MiniHack, NetHack)에서, 모델의 작업-행동 동작을 수정하지 않고 메모리만 최적화했을 때 기본 에이전트의 성능이 약 2배에서 4배까지 향상되었으며, 32B 오픈 웨이트 모델이 Claude Opus 4.5 및 Gemini 3.1 Pro Thinking과 같은 최첨단 시스템과 경쟁력을 갖추게 되었다. 우리의 결과는 메모리 관리가 독립적으로 학습 가능한 기술이며, 장기 과제에서 큰 성능 향상을 가져오는 높은 활용도(high-leverage)의 목표임을 보여준다.

English

Memory expertise is a learned skill: knowing what to encode, when to retrieve, and how to organize knowledge--a capacity known in cognitive science as metamemory. We bring this perspective to LLMs by treating memory management as a trainable skill. We promote file-system operations to first-class memory actions alongside task actions, letting the model itself decide how to manage its memory. This memory skill improves along two axes: the structure that supports it (prompts, file schemas, action vocabulary), and the proficiency of the model exercising it. Both axes resist manual optimization: episodes in long-horizon tasks run for thousands of steps, and a single memory mistake can hide long before it surfaces, making human review of full trajectories impractical. We introduce AutoMem, a framework that automates both axes. In the first loop, a strong LLM reviews complete agent trajectories and iteratively revises the memory structure that shapes how the agent interacts with its memory files. In the second loop, the agent's own good memory decisions are identified from many episodes and used as training signal to sharpen the model's memory proficiency directly. Across three procedurally generated long-horizon games (Crafter, MiniHack, and NetHack), optimizing memory alone--without modifying the model's task-action behavior--improved the base agent's performance ~2x-4x, bringing a 32B open-weight model competitive with frontier systems such as Claude Opus 4.5 and Gemini 3.1 Pro Thinking. Our results show that memory management is an independently learnable skill, and a high-leverage objective yielding large gains on long-horizon tasks.