Переосмысление запоминания: за пределами атомарных фактов в долговременной памяти агента на основе языковой модели

Аннотация

Для обеспечения надежного долгосрочного взаимодействия агенты на основе больших языковых моделей требуют системы памяти, способной точно хранить, эффективно извлекать и глубоко анализировать накопленную историю диалога. Большинство существующих методов используют парадигму на основе извлеченных фактов: вручную создаваемые статические промпты сжимают исходные диалоги в атомарные факты, которые затем сохраняются, сопоставляются и внедряются в последующий вывод. Однако такие подходы, ориентированные на факты, неизбежно теряют детали мелкой зернистости исходных диалогов и не поддерживают глубокий анализ разрозненных изолированных фактов. Кроме того, статические промпты не могут обеспечить постоянную гранулярность извлечения для различных стилей диалога. Для преодоления этих ограничений мы предлагаем TriMem, который поддерживает три сосуществующие гранулярности представления: сырые сегменты диалога, привязанные к идентификаторам источников для точности хранения; извлеченные атомарные факты для эффективного поиска в памяти; синтезированные профили, агрегирующие разрозненные факты в целостное семантическое понимание для глубокого анализа. Мы также применяем оптимизацию промптов на основе TextGrad, которая итеративно улучшает промпты для извлечения и профилирования на основе обратной связи по качеству ответов, обеспечивая пожизненную эволюцию без обновления параметров. Обширные эксперименты на LoCoMo и PerLTQA с различными бэкендами LLM показывают, что TriMem последовательно превосходит сильные базовые модели памяти. Код доступен по адресу https://TMLR-TriMem.github.io .

English

To enable reliable long-term interaction, LLM agents require a memory system that can faithfully store, efficiently retrieve, and deeply reason over accumulated dialogue history. Most existing methods adopt an extracted fact based paradigm: handcrafted static prompts compress raw dialogues into atomic facts, which are then stored, matched, and injected into downstream reasoning. Nevertheless, such fact-centric designs inevitably discard fine-grained details in original dialogues and fail to support deep reasoning over scattered isolated facts. Moreover, static prompts cannot maintain consistent extraction granularity across diverse dialogue styles. To address these limitations, we propose TriMem, which maintains three coexisting representation granularities, including raw dialogue segments anchored by source identifiers for storage fidelity, extracted atomic facts for efficient memory retrieval, synthesized profiles that aggregate dispersed facts into holistic semantic understanding for deep reasoning. We further adopt TextGrad-based prompt optimization, which iteratively refines extraction and profiling prompts via response quality feedback, achieving lifelong evolution without any parameter updating. Extensive experiments on LoCoMo and PerLTQA across multiple LLM backbones demonstrate that TriMem consistently outperforms strong memory baselines. The code is available at https://TMLR-TriMem.github.io .