¿Estamos listos para un sistema de memoria nativo de agentes?

Resumen

La memoria para agentes de modelos de lenguaje de gran escala (LLM) ha evolucionado rápidamente desde simples mecanismos aumentados por recuperación hasta convertirse en un sistema de gestión de datos que admite almacenamiento persistente de información, recuperación, actualización, consolidación y gobernanza dinámica del ciclo de vida durante la ejecución del agente. A pesar de esta evolución, las evaluaciones existentes aún evalúan la memoria de los agentes principalmente mediante métricas de éxito de tareas de extremo a extremo (por ejemplo, F1, BLEU), mientras tratan el sistema subyacente como una caja negra monolítica. Como resultado, preocupaciones críticas a nivel de sistema, incluidos costos operativos, compensaciones arquitectónicas entre módulos de memoria y robustez ante actualizaciones dinámicas de conocimiento, siguen siendo insuficientemente exploradas. En este artículo, presentamos un estudio experimental sistemático de la memoria de agentes desde una perspectiva de gestión de datos. Proponemos un marco analítico que descompone la memoria del agente en cuatro módulos centrales: representación y almacenamiento de memoria, extracción, recuperación y enrutamiento, y mantenimiento. Bajo este marco, evaluamos 12 sistemas de memoria representativos y dos líneas base de referencia en cinco cargas de trabajo de referencia que abarcan 11 conjuntos de datos. Nuestra evaluación exhaustiva de extremo a extremo muestra que ninguna arquitectura domina en todos los escenarios; en cambio, la eficacia depende en gran medida de qué tan bien se alinea la estructura de la memoria con el cuello de botella de la carga de trabajo. Además, mediante estudios de ablación detallados, cuantificamos sus efectos individuales en la fidelidad de la representación, la precisión de la recuperación, la corrección de las actualizaciones y la estabilidad a largo plazo. Finalmente, revelamos compensaciones entre costo y rendimiento en cargas de trabajo realistas, mostrando que el mantenimiento localizado es más rentable que la reorganización global. Basándonos en estos hallazgos, identificamos direcciones prometedoras para construir sistemas de memoria verdaderamente nativos de agentes. El código está disponible públicamente en https://github.com/OpenDataBox/MemoryData.

English

Memory for large language model (LLM) agents has rapidly evolved from simple retrieval-augmented mechanisms into a data management system that supports persistent information storage, retrieval, update, consolidation, and dynamic lifecycle governance throughout agent execution. Despite this evolution, existing evaluations still benchmark agent memory mainly through end-to-end task success metrics (e.g., F1, BLEU), while treating the underlying system as a monolithic black box. As a result, critical system-level concerns, including operational costs, architectural trade-offs across memory modules, and robustness under dynamic knowledge updates, remain insufficiently explored. In this paper, we present a systematic experimental study of agent memory from a data management perspective. We propose an analytical framework that decomposes agent memory into four core modules: memory representation and storage, extraction, retrieval and routing, and maintenance. Under this framework, we evaluate 12 representative memory systems and two reference baselines across five benchmark workloads spanning 11 datasets. Our extensive end-to-end evaluation shows that no single architecture dominates across all scenarios; instead, effectiveness depends heavily on how well the memory structure aligns with the workload bottleneck. Furthermore, through fine-grained ablation studies, we quantify their individual effects on representation fidelity, retrieval precision, update correctness, and long-horizon stability. Finally, we reveal cost-performance trade-offs under realistic workloads, showing localized maintenance is more cost-efficient than global reorganization. Based on these findings, we identify promising directions towards building truly agent-native memory systems. The code is publicly available at https://github.com/OpenDataBox/MemoryData.