메타학습 기반 에이전트 메모리 설계를 통한 지속적 학습 방법 연구

Learning to Continually Learn via Meta-learning Agentic Memory Designs

February 8, 2026

저자: Yiming Xiong, Shengran Hu, Jeff Clune

cs.AI

초록

파운데이션 모델의 상태 비저장성은 장기적 추론과 적응의 핵심 능력인 지속적 학습에 대한 에이전트 시스템의 능력을 저해하는 병목 현상입니다. 이러한 한계를 해결하기 위해 에이전트 시스템은 일반적으로 메모리 모듈을 통합하여 과거 경험을 보존하고 재사용함으로써 테스트 시간 동안 지속적 학습을 목표로 합니다. 그러나 기존 대부분의 메모리 설계는 인간이 수작업으로 설계하고 고정되어 있어, 현실 세계 과업의 다양성과 비정상성에 적응하는 능력이 제한됩니다. 본 논문에서는 ALMA(Automated meta-Learning of Memory designs for Agentic systems)를 소개합니다. 이는 수동으로 설계된 메모리 설계를 대체하기 위해 메모리 설계를 메타 학습하는 프레임워크로, 인간의 수고를 최소화하고 에이전트 시스템이 다양한 영역에서 지속적 학습자가 될 수 있도록 합니다. 우리의 접근 방식은 실행 가능한 코드로 표현된 메모리 설계를 개방형 방식으로 탐색하는 메타 에이전트를 사용하며, 이론적으로 데이터베이스 스키마와 이를 검색 및 업데이트하는 메커니즘을 포함한 임의의 메모리 설계 발견을 가능하게 합니다. 네 가지 순차적 의사 결정 영역에서의 광범위한 실험을 통해, 학습된 메모리 설계가 모든 벤치마크에서 최첨단 인간 설계 메모리보다 경험으로부터 더 효과적이고 효율적인 학습을 가능하게 함을 입증했습니다. 안전하게 개발 및 배포될 경우, ALMA는 적응적이고 지속적인 학습자가 되도록 학습하는 자기 개선형 AI 시스템으로 나아가는 한 걸음을 나타냅니다.

English

The statelessness of foundation models bottlenecks agentic systems' ability to continually learn, a core capability for long-horizon reasoning and adaptation. To address this limitation, agentic systems commonly incorporate memory modules to retain and reuse past experience, aiming for continual learning during test time. However, most existing memory designs are human-crafted and fixed, which limits their ability to adapt to the diversity and non-stationarity of real-world tasks. In this paper, we introduce ALMA (Automated meta-Learning of Memory designs for Agentic systems), a framework that meta-learns memory designs to replace hand-engineered memory designs, therefore minimizing human effort and enabling agentic systems to be continual learners across diverse domains. Our approach employs a Meta Agent that searches over memory designs expressed as executable code in an open-ended manner, theoretically allowing the discovery of arbitrary memory designs, including database schemas as well as their retrieval and update mechanisms. Extensive experiments across four sequential decision-making domains demonstrate that the learned memory designs enable more effective and efficient learning from experience than state-of-the-art human-crafted memory designs on all benchmarks. When developed and deployed safely, ALMA represents a step toward self-improving AI systems that learn to be adaptive, continual learners.