Zero-Mem: LLMエージェントのためのゼロトークンメモリ操作

要旨

LLMエージェントは、長期的なインタラクションにわたって一貫して行動するためにメモリを必要とするが、多くのシステムではそのメモリを操作するために追加のLLM呼び出しを使用している。中間レコードの生成とその検索の仲介には、反復的なトークンと時間のコストがかかり、省略や統合された詳細は元の証拠を曖昧にする可能性がある。我々は、構造化されたメモリアクセスがそもそも生成を必要とするのかどうかを問う。Zero-Memはゼロトークンのメモリ操作を導入する。最終的な質問応答以外のステップではLLMを呼び出さず、LLMの入力または出力トークンを消費しない。エンコーダの計算は別途扱われる。Zero-Memは元のインタラクショントレースを記録のソースとして保持する。トレースは2つの補完的な方法で整理される。エンティティ・コンテキストグラフはインタラクション間の接続を明らかにし、時間的階層は会話の局所性とセッション状態を保持する。各クエリに対して、Zero-Memは2つのビューを重み付けし、両方から検索し、その構造に従って支持する関係や周囲のコンテキストを回復する。決定論的キャリブレーションは、まず矛盾する証拠を破棄し、次に取得したトレースに基づいてリーダーの回答を維持する。最終QAリーダーのみがLLMを呼び出す。長期メモリおよび長期コンテキストの質問応答ベンチマークにおいて、Zero-Memはメモリ操作からLLM呼び出しとLLMトークン消費を排除しながら、競争力のある性能を達成する。同じ最終QAリーダーとコンテキスト予算を使用した場合、最速の比較ベースラインと比較してメモリ操作の時間コストを57.6%削減する。アブレーションは、2つのビューの貢献とそのクエリ依存の調整を支持する。全体として、これらの結果は、構造化されたエージェントメモリが過去の中間表現を生成する必要がないことを示している。査読後、コードと実装の詳細は blue{https://github.com/TheMoon0815/Zero-mem} で公開される。

English

LLM agents need memory to act consistently over long interactions, yet many systems use additional LLM calls to operate that memory. Generating intermediate records and mediating their retrieval adds recurring token and time costs, while omitted or merged details can obscure the original evidence. We ask whether structured memory access requires generation at all. Zero-Mem introduces zero-token memory operations: no step outside final question answering invokes an LLM or consumes LLM input or output tokens; encoder computation is accounted for separately. Zero-Mem preserves original interaction traces as its source of record. It organizes the traces in two complementary ways. An entity--context graph exposes connections across interactions, while a temporal hierarchy preserves conversational locality and session state. For each query, Zero-Mem weighs the two views, retrieves from both, and follows their structure to recover supporting relations or surrounding context. Deterministic calibration first discards conflicting evidence and then keeps the reader's answer grounded in the retrieved traces. Only the final-QA reader invokes an LLM. Across long-memory and long-context question-answering benchmarks, Zero-Mem achieves competitive performance while eliminating LLM calls and LLM-token consumption from memory operations. With the same final-QA reader and context budget, it reduces memory-operation time cost by 57.6\% relative to the fastest compared baseline. Ablations support the contribution of the two views and their query-dependent coordination. Overall, the results show that structured agent memory need not generate an intermediate representation of the past. After peer review, the code and implementation details will be available at blue{https://github.com/TheMoon0815/Zero-mem}.