AutoMem: 認知スキルとしての記憶の自動学習

要旨

記憶の専門性は学習可能なスキルである。すなわち、何を符号化すべきか、いつ検索すべきか、知識をどのように整理すべきかを知る能力であり、認知科学ではメタ記憶と呼ばれる。我々はこの視点を大規模言語モデル（LLM）に応用し、メモリ管理を訓練可能なスキルとして扱う。ファイルシステム操作をタスクアクションと並ぶ第一級のメモリアクションへと昇格させ、モデル自身がメモリ管理方法を決定できるようにする。このメモリスキルは、それを支える構造（プロンプト、ファイルスキーマ、アクション語彙）と、それを実行するモデルの熟達度という二軸に沿って向上する。両軸とも手動最適化には抵抗がある。長期タスクのエピソードは数千ステップに及び、単一のメモリミスが発覚するまで長期間隠れ得るため、人間による全軌跡のレビューは非現実的だからである。本稿では、この両軸を自動化するフレームワークAutoMemを紹介する。第一のループでは、強力なLLMがエージェントの全軌跡をレビューし、エージェントがメモリファイルとやり取りする方法を形成するメモリ構造を反復的に改訂する。第二のループでは、多数のエピソードからエージェント自身の優れたメモリ決定を特定し、それを訓練信号として用いてモデルのメモリ熟達度を直接的に強化する。手続き生成された三つの長期ゲーム（Crafter、MiniHack、NetHack）において、メモリのみを最適化し（モデルのタスク行動は変更せずに）、ベースエージェントのパフォーマンスを約2～4倍向上させた。これにより、320億パラメータのオープンウェイトモデルが、Claude Opus 4.5やGemini 3.1 Pro Thinkingといった最先端システムと競合できるようになった。我々の結果は、メモリ管理が独立して学習可能なスキルであり、長期タスクにおいて大きな改善をもたらす高いレバレッジを有する目的であることを示している。

English

Memory expertise is a learned skill: knowing what to encode, when to retrieve, and how to organize knowledge--a capacity known in cognitive science as metamemory. We bring this perspective to LLMs by treating memory management as a trainable skill. We promote file-system operations to first-class memory actions alongside task actions, letting the model itself decide how to manage its memory. This memory skill improves along two axes: the structure that supports it (prompts, file schemas, action vocabulary), and the proficiency of the model exercising it. Both axes resist manual optimization: episodes in long-horizon tasks run for thousands of steps, and a single memory mistake can hide long before it surfaces, making human review of full trajectories impractical. We introduce AutoMem, a framework that automates both axes. In the first loop, a strong LLM reviews complete agent trajectories and iteratively revises the memory structure that shapes how the agent interacts with its memory files. In the second loop, the agent's own good memory decisions are identified from many episodes and used as training signal to sharpen the model's memory proficiency directly. Across three procedurally generated long-horizon games (Crafter, MiniHack, and NetHack), optimizing memory alone--without modifying the model's task-action behavior--improved the base agent's performance ~2x-4x, bringing a 32B open-weight model competitive with frontier systems such as Claude Opus 4.5 and Gemini 3.1 Pro Thinking. Our results show that memory management is an independently learnable skill, and a high-leverage objective yielding large gains on long-horizon tasks.