MemTrace : Traçage et attribution des erreurs dans les systèmes de mémoire des grands modèles de langage

Résumé

La mémoire est essentielle pour permettre aux grands modèles de langage de soutenir un raisonnement à long terme, mais les systèmes de mémoire existants restent peu fiables et difficiles à déboguer. Retracer l'évolution dynamique de la mémoire est crucial pour comprendre comment l'information est synthétisée, propagée ou corrompue au fil du temps. Dans ce travail, nous étudions le nouveau problème du traçage et de l'attribution des erreurs dans les systèmes de mémoire des LLM. Nous proposons un nouveau cadre qui transforme les pipelines de mémoire en graphes d'évolution de mémoire exécutables, permettant un traçage fin du flux d'informations opérationnelles. Nous construisons ensuite MemTraceBench, un benchmark collecté à partir de systèmes de mémoire représentatifs tels que Long-Context, RAG, Mem0 et EverMemOS, pour étudier systématiquement les modes de défaillance de la mémoire. Nous introduisons en outre une méthode d'attribution automatique qui trace de manière itérative des sous-graphes d'opérations pour identifier la cause racine de tout cas d'échec. Notre analyse révèle que les défaillances de mémoire sont systématiques, provenant de problèmes au niveau des opérations tels que la perte d'informations et le désalignement de la récupération. De manière cruciale, nous exploitons ces signaux d'attribution fins pour guider l'optimisation en aval des prompts, établissant un système en boucle fermée qui corrige automatiquement les défauts et améliore les performances des tâches finales jusqu'à 7,62 %. Le code sera publié à l'adresse https://github.com/zjunlp/MemTrace.

English

Memory is essential for enabling large language models to support long-horizon reasoning, yet existing memory systems remain unreliable and difficult to debug. Tracing memory's dynamic evolution is crucial to understand how information is synthesized, propagated, or corrupted over time. In this work, we study the new problem of error tracing and attribution in LLM memory systems. We propose a novel framework that transforms memory pipelines into executable memory evolution graphs, enabling fine-grained tracing of operational information flow. We then construct MemTraceBench, a benchmark collected from representative memory systems such as Long-Context, RAG, Mem0, and EverMemOS, to systematically study memory failure modes. We further introduce an automatic attribution method that iteratively traces operation subgraphs to pinpoint the root cause of any failed case. Our analysis reveals that memory failures are systematic, stemming from operation-level issues like information loss and retrieval misalignment. Crucially, we leverage these fine-grained attribution signals to guide downstream prompt optimization, establishing a closed-loop system that automatically corrects faults and boosts end-task performance by up to 7.62%. Code will be released at https://github.com/zjunlp/MemTrace.