MemTrace: Трассировка и атрибуция ошибок в системах памяти больших языковых моделей

Аннотация

Память необходима для обеспечения возможности больших языковых моделей поддерживать долгосрочные рассуждения, однако существующие системы памяти остаются ненадежными и сложными для отладки. Отслеживание динамической эволюции памяти критически важно для понимания того, как информация синтезируется, распространяется или искажается со временем. В данной работе мы изучаем новую проблему трассировки и атрибуции ошибок в системах памяти LLM. Мы предлагаем новый фреймворк, который преобразует конвейеры памяти в исполняемые графы эволюции памяти, обеспечивая детальное отслеживание потока операционной информации. Затем мы создаем MemTraceBench — эталонную базу (бенчмарк), собранную на основе репрезентативных систем памяти, таких как Long-Context, RAG, Mem0 и EverMemOS, для систематического изучения режимов сбоев памяти. Кроме того, мы представляем автоматический метод атрибуции, который итеративно отслеживает операционные подграфы, чтобы точно определить первопричину любого случая сбоя. Наш анализ показывает, что сбои памяти носят систематический характер и возникают из-за проблем на уровне операций, таких как потеря информации и рассогласование при извлечении. Важно отметить, что мы используем эти детальные сигналы атрибуции для управления последующей оптимизацией промптов, создавая замкнутую систему, которая автоматически исправляет ошибки и повышает производительность конечной задачи до 7.62%. Код будет опубликован по адресу https://github.com/zjunlp/MemTrace.

English

Memory is essential for enabling large language models to support long-horizon reasoning, yet existing memory systems remain unreliable and difficult to debug. Tracing memory's dynamic evolution is crucial to understand how information is synthesized, propagated, or corrupted over time. In this work, we study the new problem of error tracing and attribution in LLM memory systems. We propose a novel framework that transforms memory pipelines into executable memory evolution graphs, enabling fine-grained tracing of operational information flow. We then construct MemTraceBench, a benchmark collected from representative memory systems such as Long-Context, RAG, Mem0, and EverMemOS, to systematically study memory failure modes. We further introduce an automatic attribution method that iteratively traces operation subgraphs to pinpoint the root cause of any failed case. Our analysis reveals that memory failures are systematic, stemming from operation-level issues like information loss and retrieval misalignment. Crucially, we leverage these fine-grained attribution signals to guide downstream prompt optimization, establishing a closed-loop system that automatically corrects faults and boosts end-task performance by up to 7.62%. Code will be released at https://github.com/zjunlp/MemTrace.