MemTrace: Rastreo y Atribución de Errores en Sistemas de Memoria de Grandes Modelos de Lenguaje

Resumen

La memoria es esencial para que los modelos de lenguaje grandes puedan realizar razonamientos de horizonte largo; sin embargo, los sistemas de memoria existentes siguen siendo poco fiables y difíciles de depurar. Rastrear la evolución dinámica de la memoria es crucial para comprender cómo se sintetiza, propaga o corrompe la información a lo largo del tiempo. En este trabajo, estudiamos el nuevo problema del trazado y atribución de errores en sistemas de memoria de LLM. Proponemos un marco novedoso que transforma los pipelines de memoria en grafos de evolución de la memoria ejecutables, permitiendo un seguimiento detallado del flujo de información operacional. Luego construimos MemTraceBench, un punto de referencia recopilado a partir de sistemas de memoria representativos como Long-Context, RAG, Mem0 y EverMemOS, para estudiar sistemáticamente los modos de fallo de la memoria. Introducimos además un método de atribución automática que recorre iterativamente los subgrafos de operaciones para identificar la causa raíz de cualquier caso de fallo. Nuestro análisis revela que los fallos de memoria son sistemáticos, derivados de problemas a nivel de operación como la pérdida de información y la desalineación en la recuperación. De manera crucial, aprovechamos estas señales de atribución de grano fino para guiar la optimización posterior de prompts, estableciendo un sistema de circuito cerrado que corrige automáticamente los fallos y mejora el rendimiento de la tarea final hasta en un 7.62%. El código se publicará en https://github.com/zjunlp/MemTrace.

English

Memory is essential for enabling large language models to support long-horizon reasoning, yet existing memory systems remain unreliable and difficult to debug. Tracing memory's dynamic evolution is crucial to understand how information is synthesized, propagated, or corrupted over time. In this work, we study the new problem of error tracing and attribution in LLM memory systems. We propose a novel framework that transforms memory pipelines into executable memory evolution graphs, enabling fine-grained tracing of operational information flow. We then construct MemTraceBench, a benchmark collected from representative memory systems such as Long-Context, RAG, Mem0, and EverMemOS, to systematically study memory failure modes. We further introduce an automatic attribution method that iteratively traces operation subgraphs to pinpoint the root cause of any failed case. Our analysis reveals that memory failures are systematic, stemming from operation-level issues like information loss and retrieval misalignment. Crucially, we leverage these fine-grained attribution signals to guide downstream prompt optimization, establishing a closed-loop system that automatically corrects faults and boosts end-task performance by up to 7.62%. Code will be released at https://github.com/zjunlp/MemTrace.