Lernen, kontinuierlich zu lernen durch Meta-Lernen mit agentenbasierten Gedächtnisarchitekturen
Learning to Continually Learn via Meta-learning Agentic Memory Designs
February 8, 2026
papers.authors: Yiming Xiong, Shengran Hu, Jeff Clune
cs.AI
papers.abstract
Die Zustandslosigkeit von Foundation-Modellen hemmt die Fähigkeit agentenbasierter Systeme, kontinuierlich zu lernen – eine Kernkompetenz für langfristiges Schlussfolgern und Anpassung. Um diese Einschränkung zu adressieren, integrieren agentenbasierte Systeme häufig Gedächtnismodule, um vergangene Erfahrungen zu speichern und wiederzuverwenden, mit dem Ziel eines kontinuierlichen Lernens während der Testphase. Die meisten bestehenden Gedächtnisentwürfe sind jedoch menschengestaltet und starr, was ihre Anpassungsfähigkeit an die Vielfalt und Nichtstationarität realer Aufgaben begrenzt. In dieser Arbeit stellen wir ALMA (Automated meta-Learning of Memory designs for Agentic systems) vor, einen Rahmen, der Gedächtnisentwürfe meta-lernt, um manuell entwickelte Entwürfe zu ersetzen und so menschlichen Aufwand zu minimieren sowie agentenbasierten Systemen zu ermöglichen, in verschiedenen Domänen zu kontinuierlichen Lernern zu werden. Unser Ansatz nutzt einen Meta-Agenten, der in offener Weise über als ausführbarer Code ausgedrückte Gedächtnisentwürfe sucht und theoretisch die Entdeckung beliebiger Gedächtnisentwürfe erlaubt, einschließlich Datenbankschemata sowie deren Abruf- und Aktualisierungsmechanismen. Umfangreiche Experimente in vier sequenziellen Entscheidungsdomänen zeigen, dass die gelernten Gedächtnisentwürfe ein effektiveres und effizienteres Lernen aus Erfahrung ermöglichen als state-of-the-art, menschengestaltete Gedächtnisentwürfe in allen Benchmarks. Bei sicherer Entwicklung und Implementierung repräsentiert ALMA einen Schritt in Richtung selbstverbessernder KI-Systeme, die lernen, adaptive, kontinuierliche Lerner zu sein.
English
The statelessness of foundation models bottlenecks agentic systems' ability to continually learn, a core capability for long-horizon reasoning and adaptation. To address this limitation, agentic systems commonly incorporate memory modules to retain and reuse past experience, aiming for continual learning during test time. However, most existing memory designs are human-crafted and fixed, which limits their ability to adapt to the diversity and non-stationarity of real-world tasks. In this paper, we introduce ALMA (Automated meta-Learning of Memory designs for Agentic systems), a framework that meta-learns memory designs to replace hand-engineered memory designs, therefore minimizing human effort and enabling agentic systems to be continual learners across diverse domains. Our approach employs a Meta Agent that searches over memory designs expressed as executable code in an open-ended manner, theoretically allowing the discovery of arbitrary memory designs, including database schemas as well as their retrieval and update mechanisms. Extensive experiments across four sequential decision-making domains demonstrate that the learned memory designs enable more effective and efficient learning from experience than state-of-the-art human-crafted memory designs on all benchmarks. When developed and deployed safely, ALMA represents a step toward self-improving AI systems that learn to be adaptive, continual learners.