EvolveMem: Selbst-evolvierende Speicherarchitektur mittels AutoResearch für LLM-Agenten

Zusammenfassung

Langzeitgedächtnis ist für LLM-Agenten, die über mehrere Sitzungen hinweg operieren, unerlässlich. Dennoch behandeln bestehende Gedächtnissysteme die Abrufinfrastruktur als statisch: Gespeicherte Inhalte entwickeln sich weiter, während Bewertungsfunktionen, Fusionsstrategien und Richtlinien zur Antwortgenerierung bei der Bereitstellung eingefroren bleiben. Wir argumentieren, dass ein wirklich adaptives Gedächtnis eine Ko-Evolution auf zwei Ebenen erfordert: das gespeicherte Wissen und den Abrufmechanismus, der es abfragt. Wir stellen EvolveMem vor, eine selbstentwickelnde Gedächtnisarchitektur, die ihre gesamte Abrufkonfiguration als strukturierten Aktionsraum offenlegt, der von einem LLM-gestützten Diagnosemodul optimiert wird. In jeder Evolutionsrunde liest das Modul die Fehlerprotokolle pro Frage, identifiziert Grundursachen und schlägt gezielte Konfigurationsanpassungen vor; ein bewachter Meta-Analysator wendet diese mit automatischer Rücknahme bei Verschlechterung und Erkundung bei Stagnation an. Diese geschlossene Selbstevolution verwirklicht einen AutoResearch-Prozess: Das System führt autonom iterative Forschungszyklen zu seiner eigenen Architektur durch und ersetzt so die manuelle Konfigurationsabstimmung. Ausgehend von einer minimalen Ausgangsbasis konvergiert der Prozess autonom und entdeckt effektive Abrufstrategien, einschließlich völlig neuer Konfigurationsdimensionen, die im ursprünglichen Aktionsraum nicht vorhanden waren. Auf LoCoMo übertrifft EvolveMem die stärkste Baseline um 25,7% relativ und erreicht eine relative Verbesserung von 78,0% gegenüber der minimalen Baseline. Auf MemBench übertrifft EvolveMem die stärkste Baseline um 18,9% relativ. Entwickelte Konfigurationen übertragen sich mit positivem statt katastrophalem Transfer über Benchmarks hinweg, was darauf hindeutet, dass der Selbstevolutionsprozess universelle Abrufprinzipien und nicht benchmarkspezifische Heuristiken erfasst. Code ist verfügbar unter https://github.com/aiming-lab/SimpleMem.

English

Long-term memory is essential for LLM agents that operate across multiple sessions, yet existing memory systems treat retrieval infrastructure as fixed: stored content evolves while scoring functions, fusion strategies, and answer-generation policies remain frozen at deployment. We argue that truly adaptive memory requires co-evolution at two levels: the stored knowledge and the retrieval mechanism that queries it. We present EvolveMem, a self-evolving memory architecture that exposes its full retrieval configuration as a structured action space optimized by an LLM-powered diagnosis module. In each evolution round, the module reads per-question failure logs, identifies root causes, and proposes targeted configuration adjustments; a guarded meta-analyzer applies them with automatic revert-on-regression and explore-on-stagnation safeguards. This closed-loop self-evolution realizes an AutoResearch process: the system autonomously conducts iterative research cycles on its own architecture, replacing manual configuration tuning. Starting from a minimal baseline, the process converges autonomously, discovering effective retrieval strategies including entirely new configuration dimensions not present in the original action space. On LoCoMo, EvolveMem outperforms the strongest baseline by 25.7% relative and achieves a 78.0% relative improvement over the minimal baseline. On MemBench, EvolveMem exceeds the strongest baseline by 18.9% relative. Evolved configurations transfer across benchmarks with positive rather than catastrophic transfer, indicating that the self-evolution process captures universal retrieval principles rather than benchmark-specific heuristics. Code is available at https://github.com/aiming-lab/SimpleMem.