Aprendiendo a Aprender Continuamente mediante Diseños de Memoria Agéntica basados en Meta-aprendizaje
Learning to Continually Learn via Meta-learning Agentic Memory Designs
February 8, 2026
Autores: Yiming Xiong, Shengran Hu, Jeff Clune
cs.AI
Resumen
La falta de estado de los modelos base limita la capacidad de los sistemas agentivos para aprender continuamente, una capacidad fundamental para el razonamiento y la adaptación a largo plazo. Para abordar esta limitación, los sistemas agentivos suelen incorporar módulos de memoria para retener y reutilizar experiencias pasadas, con el objetivo de lograr un aprendizaje continuo durante el tiempo de prueba. Sin embargo, la mayoría de los diseños de memoria existentes son creados manualmente y son fijos, lo que limita su capacidad para adaptarse a la diversidad y no estacionariedad de las tareas del mundo real. En este artículo, presentamos ALMA (Diseños de Memoria de Meta-Aprendizaje Automatizado para Sistemas Agentivos), un marco que meta-aprende diseños de memoria para reemplazar los diseños de memoria diseñados a mano, minimizando así el esfuerzo humano y permitiendo que los sistemas agentivos sean aprendices continuos en diversos dominios. Nuestro enfoque emplea un Meta-Agente que busca diseños de memoria expresados como código ejecutable de manera abierta, permitiendo teóricamente el descubrimiento de diseños de memoria arbitrarios, incluyendo esquemas de bases de datos así como sus mecanismos de recuperación y actualización. Experimentos exhaustivos en cuatro dominios de toma de decisiones secuenciales demuestran que los diseños de memoria aprendidos permiten un aprendizaje más efectivo y eficiente a partir de la experiencia que los diseños de memoria creados manualmente más avanzados en todos los puntos de referencia. Cuando se desarrolla e implementa de forma segura, ALMA representa un paso hacia sistemas de IA que se auto-mejoran y aprenden a ser adaptativos y aprendices continuos.
English
The statelessness of foundation models bottlenecks agentic systems' ability to continually learn, a core capability for long-horizon reasoning and adaptation. To address this limitation, agentic systems commonly incorporate memory modules to retain and reuse past experience, aiming for continual learning during test time. However, most existing memory designs are human-crafted and fixed, which limits their ability to adapt to the diversity and non-stationarity of real-world tasks. In this paper, we introduce ALMA (Automated meta-Learning of Memory designs for Agentic systems), a framework that meta-learns memory designs to replace hand-engineered memory designs, therefore minimizing human effort and enabling agentic systems to be continual learners across diverse domains. Our approach employs a Meta Agent that searches over memory designs expressed as executable code in an open-ended manner, theoretically allowing the discovery of arbitrary memory designs, including database schemas as well as their retrieval and update mechanisms. Extensive experiments across four sequential decision-making domains demonstrate that the learned memory designs enable more effective and efficient learning from experience than state-of-the-art human-crafted memory designs on all benchmarks. When developed and deployed safely, ALMA represents a step toward self-improving AI systems that learn to be adaptive, continual learners.