記憶方法の再考：生涯学習LLMエージェントメモリにおける原子的事実を超えて

要旨

信頼性の高い長期的な対話を実現するためには、LLMエージェントが蓄積された対話履歴を忠実に保存し、効率的に検索し、深く推論できるメモリシステムが必要である。既存の手法のほとんどは、抽出された事実に基づくパラダイムを採用している。すなわち、手作りの静的プロンプトが生の対話を原子的な事実に圧縮し、それらを保存、照合、そして下流の推論に注入する。しかしながら、このような事実中心の設計は、元の対話における詳細な情報を必然的に捨て去り、散在する孤立した事実に基づく深い推論を支援できない。さらに、静的プロンプトは多様な対話スタイルにわたって一貫した抽出粒度を維持できない。これらの限界に対処するため、我々はTriMemを提案する。これは、保存の忠実性のためにソース識別子で固定された生の対話セグメント、効率的なメモリ検索のための抽出された原子的事実、そして深い推論のために分散した事実を統合して全体的な意味理解を実現する合成プロファイルという、三つの共存する表現粒度を維持する。さらに、我々はTextGradベースのプロンプト最適化を採用する。これは、応答品質のフィードバックを介して抽出プロンプトとプロファイリングプロンプトを反復的に改善し、パラメータ更新なしで生涯にわたる進化を実現する。LoCoMoおよびPerLTQAにおける複数のLLMバックボーンにわたる広範な実験により、TriMemが強力なメモリベースラインを一貫して上回ることが示された。コードはhttps://TMLR-TriMem.github.ioで入手可能である。

English

To enable reliable long-term interaction, LLM agents require a memory system that can faithfully store, efficiently retrieve, and deeply reason over accumulated dialogue history. Most existing methods adopt an extracted fact based paradigm: handcrafted static prompts compress raw dialogues into atomic facts, which are then stored, matched, and injected into downstream reasoning. Nevertheless, such fact-centric designs inevitably discard fine-grained details in original dialogues and fail to support deep reasoning over scattered isolated facts. Moreover, static prompts cannot maintain consistent extraction granularity across diverse dialogue styles. To address these limitations, we propose TriMem, which maintains three coexisting representation granularities, including raw dialogue segments anchored by source identifiers for storage fidelity, extracted atomic facts for efficient memory retrieval, synthesized profiles that aggregate dispersed facts into holistic semantic understanding for deep reasoning. We further adopt TextGrad-based prompt optimization, which iteratively refines extraction and profiling prompts via response quality feedback, achieving lifelong evolution without any parameter updating. Extensive experiments on LoCoMo and PerLTQA across multiple LLM backbones demonstrate that TriMem consistently outperforms strong memory baselines. The code is available at https://TMLR-TriMem.github.io .