Sommes-nous prêts pour un système de mémoire natif d'agent ?

Résumé

La mémoire des agents basés sur de grands modèles de langage (LLM) a rapidement évolué, passant de simples mécanismes de récupération augmentée à un système de gestion de données prenant en charge le stockage persistant, la récupération, la mise à jour, la consolidation et la gouvernance dynamique du cycle de vie tout au long de l'exécution de l'agent. Malgré cette évolution, les évaluations existantes continuent de mesurer la mémoire des agents principalement par des métriques de succès de bout en bout (par exemple, F1, BLEU), tout en traitant le système sous-jacent comme une boîte noire monolithique. Par conséquent, des préoccupations critiques au niveau système, notamment les coûts opérationnels, les compromis architecturaux entre les modules de mémoire et la robustesse face aux mises à jour dynamiques des connaissances, restent insuffisamment explorées. Dans cet article, nous présentons une étude expérimentale systématique de la mémoire des agents dans une perspective de gestion de données. Nous proposons un cadre analytique qui décompose la mémoire de l'agent en quatre modules principaux : représentation et stockage de la mémoire, extraction, récupération et routage, et maintenance. Dans ce cadre, nous évaluons 12 systèmes de mémoire représentatifs et deux références de base sur cinq charges de travail de référence couvrant 11 jeux de données. Notre évaluation extensive de bout en bout montre qu'aucune architecture unique ne domine dans tous les scénarios ; au contraire, l'efficacité dépend fortement de la manière dont la structure de la mémoire s'aligne sur le goulot d'étranglement de la charge de travail. De plus, grâce à des études d'ablation fines, nous quantifions leurs effets individuels sur la fidélité de la représentation, la précision de la récupération, la correction des mises à jour et la stabilité à long terme. Enfin, nous mettons en évidence les compromis coût-performance sous des charges de travail réalistes, montrant que la maintenance localisée est plus rentable que la réorganisation globale. À partir de ces résultats, nous identifions des directions prometteuses pour construire des systèmes de mémoire véritablement natifs pour les agents. Le code est disponible publiquement à l'adresse https://github.com/OpenDataBox/MemoryData.

English

Memory for large language model (LLM) agents has rapidly evolved from simple retrieval-augmented mechanisms into a data management system that supports persistent information storage, retrieval, update, consolidation, and dynamic lifecycle governance throughout agent execution. Despite this evolution, existing evaluations still benchmark agent memory mainly through end-to-end task success metrics (e.g., F1, BLEU), while treating the underlying system as a monolithic black box. As a result, critical system-level concerns, including operational costs, architectural trade-offs across memory modules, and robustness under dynamic knowledge updates, remain insufficiently explored. In this paper, we present a systematic experimental study of agent memory from a data management perspective. We propose an analytical framework that decomposes agent memory into four core modules: memory representation and storage, extraction, retrieval and routing, and maintenance. Under this framework, we evaluate 12 representative memory systems and two reference baselines across five benchmark workloads spanning 11 datasets. Our extensive end-to-end evaluation shows that no single architecture dominates across all scenarios; instead, effectiveness depends heavily on how well the memory structure aligns with the workload bottleneck. Furthermore, through fine-grained ablation studies, we quantify their individual effects on representation fidelity, retrieval precision, update correctness, and long-horizon stability. Finally, we reveal cost-performance trade-offs under realistic workloads, showing localized maintenance is more cost-efficient than global reorganization. Based on these findings, we identify promising directions towards building truly agent-native memory systems. The code is publicly available at https://github.com/OpenDataBox/MemoryData.