Leren om voortdurend te leren via meta-lerende, agent-geheugenontwerpen
Learning to Continually Learn via Meta-learning Agentic Memory Designs
February 8, 2026
Auteurs: Yiming Xiong, Shengran Hu, Jeff Clune
cs.AI
Samenvatting
Het stateloze karakter van foundation models vormt een bottleneck voor het vermogen van agent-systemen om continu te leren, een kerncompetentie voor langetermijnredenering en aanpassing. Om deze beperking aan te pakken, integreren agent-systemen doorgaans geheugenmodules om eerdere ervaringen vast te houden en te hergebruiken, met als doel continu te leren tijdens de testfase. De meeste bestaande geheugenontwerpen zijn echter door mensen ontworpen en vastgelegd, wat hun vermogen beperkt om zich aan te passen aan de diversiteit en non-stationariteit van real-world taken. In dit artikel introduceren we ALMA (Automated meta-Learning of Memory designs for Agentic systems), een framework dat geheugenontwerpen meta-leert om handmatig ontworpen geheugenarchitecturen te vervangen, waardoor menselijke inspanning wordt geminimaliseerd en agent-systemen in staat worden gesteld om continue leerlingen te worden in diverse domeinen. Onze aanpak gebruikt een Meta-Agent die op een open-ended manier zoekt naar geheugenontwerpen die als uitvoerbare code worden uitgedrukt, wat in theorie de ontdekking van willekeurige geheugenontwerpen mogelijk maakt, inclusief databaseschema's en hun retrieval- en updatemechanismen. Uitgebreide experimenten in vier sequentiële besluitvormingsdomeinen tonen aan dat de geleerde geheugenontwerpen effectiever en efficiënter leren van ervaring mogelijk maken dan state-of-the-art, door mensen ontworpen geheugenarchitecturen op alle benchmarks. Mits veilig ontwikkeld en ingezet, vertegenwoordigt ALMA een stap in de richting van zelfverbeterende AI-systemen die leren om adaptieve, continue leerlingen te zijn.
English
The statelessness of foundation models bottlenecks agentic systems' ability to continually learn, a core capability for long-horizon reasoning and adaptation. To address this limitation, agentic systems commonly incorporate memory modules to retain and reuse past experience, aiming for continual learning during test time. However, most existing memory designs are human-crafted and fixed, which limits their ability to adapt to the diversity and non-stationarity of real-world tasks. In this paper, we introduce ALMA (Automated meta-Learning of Memory designs for Agentic systems), a framework that meta-learns memory designs to replace hand-engineered memory designs, therefore minimizing human effort and enabling agentic systems to be continual learners across diverse domains. Our approach employs a Meta Agent that searches over memory designs expressed as executable code in an open-ended manner, theoretically allowing the discovery of arbitrary memory designs, including database schemas as well as their retrieval and update mechanisms. Extensive experiments across four sequential decision-making domains demonstrate that the learned memory designs enable more effective and efficient learning from experience than state-of-the-art human-crafted memory designs on all benchmarks. When developed and deployed safely, ALMA represents a step toward self-improving AI systems that learn to be adaptive, continual learners.