Sind wir bereit für ein agent-natives Speichersystem?

Zusammenfassung

Das Gedächtnis von Agenten für große Sprachmodelle (LLM-Agenten) hat sich rasant von einfachen abrufverstärkten Mechanismen zu einem Datenverwaltungssystem entwickelt, das dauerhafte Informationsspeicherung, Abruf, Aktualisierung, Konsolidierung und dynamische Lebenszyklusverwaltung während der gesamten Agentenausführung unterstützt. Trotz dieser Entwicklung bewerten bestehende Evaluierungen das Agentengedächtnis hauptsächlich anhand von End-to-End-Aufgabenerfolgsmetriken (z. B. F1, BLEU), während sie das zugrundeliegende System als monolithische Blackbox behandeln. Infolgedessen bleiben kritische systembezogene Belange – darunter Betriebskosten, architektonische Abwägungen zwischen Speichermodulen und Robustheit bei dynamischen Wissensaktualisierungen – unzureichend erforscht. In diesem Papier präsentieren wir eine systematische experimentelle Studie des Agentengedächtnisses aus der Perspektive der Datenverwaltung. Wir schlagen einen analytischen Rahmen vor, der das Agentengedächtnis in vier Kernmodule zerlegt: Speicherrepräsentation und -speicherung, Extraktion, Abruf und Routing sowie Wartung. In diesem Rahmen bewerten wir 12 repräsentative Speichersysteme und zwei Referenzbaselines über fünf Benchmark-Workloads hinweg, die 11 Datensätze umfassen. Unsere umfassende End-to-End-Bewertung zeigt, dass keine einzelne Architektur in allen Szenarien dominiert; stattdessen hängt die Effektivität stark davon ab, wie gut die Speicherstruktur auf den Workload-Engpass abgestimmt ist. Darüber hinaus quantifizieren wir durch feinkörnige Ablationsstudien ihre individuellen Auswirkungen auf Repräsentationstreue, Abrufpräzision, Aktualisierungskorrektheit und Langzeitstabilität. Schließlich decken wir Kosten-Leistungs-Abwägungen unter realistischen Workloads auf und zeigen, dass lokalisierte Wartung kosteneffizienter ist als globale Neuorganisation. Basierend auf diesen Erkenntnissen identifizieren wir vielversprechende Richtungen zur Entwicklung wirklich agenteneigener Speichersysteme. Der Code ist öffentlich verfügbar unter https://github.com/OpenDataBox/MemoryData.

English

Memory for large language model (LLM) agents has rapidly evolved from simple retrieval-augmented mechanisms into a data management system that supports persistent information storage, retrieval, update, consolidation, and dynamic lifecycle governance throughout agent execution. Despite this evolution, existing evaluations still benchmark agent memory mainly through end-to-end task success metrics (e.g., F1, BLEU), while treating the underlying system as a monolithic black box. As a result, critical system-level concerns, including operational costs, architectural trade-offs across memory modules, and robustness under dynamic knowledge updates, remain insufficiently explored. In this paper, we present a systematic experimental study of agent memory from a data management perspective. We propose an analytical framework that decomposes agent memory into four core modules: memory representation and storage, extraction, retrieval and routing, and maintenance. Under this framework, we evaluate 12 representative memory systems and two reference baselines across five benchmark workloads spanning 11 datasets. Our extensive end-to-end evaluation shows that no single architecture dominates across all scenarios; instead, effectiveness depends heavily on how well the memory structure aligns with the workload bottleneck. Furthermore, through fine-grained ablation studies, we quantify their individual effects on representation fidelity, retrieval precision, update correctness, and long-horizon stability. Finally, we reveal cost-performance trade-offs under realistic workloads, showing localized maintenance is more cost-efficient than global reorganization. Based on these findings, we identify promising directions towards building truly agent-native memory systems. The code is publicly available at https://github.com/OpenDataBox/MemoryData.