Apprendre à apprendre continuellement via des conceptions de mémoire agentique par méta-apprentissage

Learning to Continually Learn via Meta-learning Agentic Memory Designs

February 8, 2026

papers.authors: Yiming Xiong, Shengran Hu, Jeff Clune

cs.AI

papers.abstract

L'absence d'état des modèles de fondation constitue un goulot d'étranglement pour la capacité des systèmes agentiels à apprendre de manière continue, une capacité essentielle pour le raisonnement et l'adaptation à long terme. Pour remédier à cette limitation, les systèmes agentiels intègrent généralement des modules de mémoire pour conserver et réutiliser les expériences passées, visant un apprentissage continu pendant la phase de test. Cependant, la plupart des conceptions de mémoire existantes sont conçues manuellement et fixes, ce qui limite leur capacité à s'adapter à la diversité et à la non-stationnarité des tâches du monde réel. Dans cet article, nous présentons ALMA (Automated meta-Learning of Memory designs for Agentic systems), un cadre qui méta-apprend des conceptions de mémoire pour remplacer les conceptions manuelles, minimisant ainsi l'effort humain et permettant aux systèmes agentiels d'être des apprenants continus dans divers domaines. Notre approche emploie un Méta-Agent qui explore des conceptions de mémoire exprimées sous forme de code exécutable de manière ouverte, permettant théoriquement la découverte de conceptions de mémoire arbitraires, incluant les schémas de base de données ainsi que leurs mécanismes de récupération et de mise à jour. Des expériences approfondies dans quatre domaines de prise de décision séquentielle démontrent que les conceptions de mémoire apprises permettent un apprentissage plus efficace et efficient à partir de l'expérience que les conceptions de mémoire manuelles de pointe sur tous les benchmarks. Développé et déployé en toute sécurité, ALMA représente une étape vers des systèmes d'IA auto-améliorants qui apprennent à être adaptatifs et des apprenants continus.

English

The statelessness of foundation models bottlenecks agentic systems' ability to continually learn, a core capability for long-horizon reasoning and adaptation. To address this limitation, agentic systems commonly incorporate memory modules to retain and reuse past experience, aiming for continual learning during test time. However, most existing memory designs are human-crafted and fixed, which limits their ability to adapt to the diversity and non-stationarity of real-world tasks. In this paper, we introduce ALMA (Automated meta-Learning of Memory designs for Agentic systems), a framework that meta-learns memory designs to replace hand-engineered memory designs, therefore minimizing human effort and enabling agentic systems to be continual learners across diverse domains. Our approach employs a Meta Agent that searches over memory designs expressed as executable code in an open-ended manner, theoretically allowing the discovery of arbitrary memory designs, including database schemas as well as their retrieval and update mechanisms. Extensive experiments across four sequential decision-making domains demonstrate that the learned memory designs enable more effective and efficient learning from experience than state-of-the-art human-crafted memory designs on all benchmarks. When developed and deployed safely, ALMA represents a step toward self-improving AI systems that learn to be adaptive, continual learners.