MemTrace: Het traceren en toeschrijven van fouten in geheugensystemen van grote taalmodellen

Samenvatting

Geheugen is essentieel om grote taalmodellen in staat te stellen redeneringen over lange tijdsperioden te ondersteunen, maar bestaande geheugensystemen blijven onbetrouwbaar en moeilijk te debuggen. Het traceren van de dynamische evolutie van het geheugen is cruciaal om te begrijpen hoe informatie in de loop van de tijd wordt gesynthetiseerd, verspreid of gecorrumpeerd. In dit werk bestuderen we het nieuwe probleem van foutopsporing en -toeschrijving in LLM-geheugensystemen. We stellen een nieuw raamwerk voor dat geheugenpijplijnen omzet in uitvoerbare geheugenevolutiegrafieken, waardoor fijnmazige tracering van operationele informatiestromen mogelijk wordt. Vervolgens construeren we MemTraceBench, een benchmark die is samengesteld uit representatieve geheugensystemen zoals Long-Context, RAG, Mem0 en EverMemOS, om geheugenfoutmodi systematisch te bestuderen. Verder introduceren we een automatische toeschrijvingsmethode die iteratief operationele subgrafieken traceert om de hoofdoorzaak van een mislukt geval te achterhalen. Onze analyse laat zien dat geheugenfouten systematisch zijn en voortkomen uit operationele problemen zoals informatieverlies en retrieval-misalignatie. Van cruciaal belang is dat we deze fijnmazige toeschrijvingssignalen benutten om downstream promptoptimalisatie te begeleiden, waarmee we een gesloten-lussysteem opzetten dat fouten automatisch corrigeert en de eindtaakprestaties met maximaal 7,62% verbetert. De code wordt gepubliceerd op https://github.com/zjunlp/MemTrace.

English

Memory is essential for enabling large language models to support long-horizon reasoning, yet existing memory systems remain unreliable and difficult to debug. Tracing memory's dynamic evolution is crucial to understand how information is synthesized, propagated, or corrupted over time. In this work, we study the new problem of error tracing and attribution in LLM memory systems. We propose a novel framework that transforms memory pipelines into executable memory evolution graphs, enabling fine-grained tracing of operational information flow. We then construct MemTraceBench, a benchmark collected from representative memory systems such as Long-Context, RAG, Mem0, and EverMemOS, to systematically study memory failure modes. We further introduce an automatic attribution method that iteratively traces operation subgraphs to pinpoint the root cause of any failed case. Our analysis reveals that memory failures are systematic, stemming from operation-level issues like information loss and retrieval misalignment. Crucially, we leverage these fine-grained attribution signals to guide downstream prompt optimization, establishing a closed-loop system that automatically corrects faults and boosts end-task performance by up to 7.62%. Code will be released at https://github.com/zjunlp/MemTrace.