Überdenken des Erinnerns: Jenseits atomarer Fakten im lebenslangen Gedächtnis von LLM-Agenten

Zusammenfassung

Um eine zuverlässige langfristige Interaktion zu ermöglichen, benötigen LLM-Agenten ein Speichersystem, das die angesammelte Dialoghistorie treu speichern, effizient abrufen und tiefgehend durchdenken kann. Die meisten bestehenden Methoden verfolgen ein auf extrahierten Fakten basierendes Paradigma: Handgefertigte statische Prompts komprimieren rohe Dialoge zu atomaren Fakten, die dann gespeichert, abgeglichen und in nachgelagerte Schlussfolgerungen eingebracht werden. Dennoch verwerfen solche faktenzentrierten Entwürfe zwangsläufig feinkörnige Details in den ursprünglichen Dialogen und können keine tiefgehende Schlussfolgerung über verstreute isolierte Fakten unterstützen. Darüber hinaus können statische Prompts keine konsistente Extraktionsgranularität über verschiedene Dialogstile hinweg aufrechterhalten. Um diese Einschränkungen zu adressieren, schlagen wir TriMem vor, das drei koexistierende Darstellungsgranularitäten unterhält, darunter rohe Dialogsegmente, die durch Quellkennungen verankert sind, um die Speichertreue zu gewährleisten, extrahierte atomare Fakten für einen effizienten Speicherabruf und synthetisierte Profile, die verstreute Fakten zu einem ganzheitlichen semantischen Verständnis zusammenfassen, um tiefgehende Schlussfolgerungen zu ermöglichen. Darüber hinaus verwenden wir die TextGrad-basierte Promptoptimierung, die Extraktions- und Profilierungs-Prompts durch Feedback zur Antwortqualität iterativ verfeinert und so eine lebenslange Evolution ohne jegliche Parameteraktualisierung erreicht. Umfangreiche Experimente mit LoCoMo und PerLTQA über mehrere LLM-Backbones hinweg zeigen, dass TriMem durchweg stärkere Speicher-Baselines übertrifft. Der Code ist verfügbar unter https://TMLR-TriMem.github.io .

English

To enable reliable long-term interaction, LLM agents require a memory system that can faithfully store, efficiently retrieve, and deeply reason over accumulated dialogue history. Most existing methods adopt an extracted fact based paradigm: handcrafted static prompts compress raw dialogues into atomic facts, which are then stored, matched, and injected into downstream reasoning. Nevertheless, such fact-centric designs inevitably discard fine-grained details in original dialogues and fail to support deep reasoning over scattered isolated facts. Moreover, static prompts cannot maintain consistent extraction granularity across diverse dialogue styles. To address these limitations, we propose TriMem, which maintains three coexisting representation granularities, including raw dialogue segments anchored by source identifiers for storage fidelity, extracted atomic facts for efficient memory retrieval, synthesized profiles that aggregate dispersed facts into holistic semantic understanding for deep reasoning. We further adopt TextGrad-based prompt optimization, which iteratively refines extraction and profiling prompts via response quality feedback, achieving lifelong evolution without any parameter updating. Extensive experiments on LoCoMo and PerLTQA across multiple LLM backbones demonstrate that TriMem consistently outperforms strong memory baselines. The code is available at https://TMLR-TriMem.github.io .