Обучение непрерывному обучению с помощью метаобучения и агентных архитектур памяти

Learning to Continually Learn via Meta-learning Agentic Memory Designs

February 8, 2026

Авторы: Yiming Xiong, Shengran Hu, Jeff Clune

cs.AI

Аннотация

Отсутствие состояния у базовых моделей ограничивает способность агентных систем к непрерывному обучению — ключевую возможность для долгосрочного планирования и адаптации. Чтобы устранить это ограничение, агентные системы обычно включают модули памяти для сохранения и повторного использования прошлого опыта, стремясь к непрерывному обучению во время тестирования. Однако большинство существующих архитектур памяти созданы человеком и фиксированы, что ограничивает их способность адаптироваться к разнообразию и нестационарности реальных задач. В данной статье мы представляем ALMA (Automated meta-Learning of Memory designs for Agentic systems) — фреймворк, который мета-обучает архитектуры памяти, заменяя тем самым созданные вручную проекты, минимизируя человеческие усилия и позволяя агентным системам быть непрерывными учениками в различных областях. Наш подход использует Мета-Агент, который осуществляет поиск по архитектурам памяти, выраженным в виде исполняемого кода, открытым способом, теоретически позволяя обнаруживать произвольные проекты памяти, включая схемы баз данных, а также механизмы их извлечения и обновления. Многочисленные эксперименты в четырёх областях последовательного принятия решений демонстрируют, что изученные архитектуры памяти обеспечивают более эффективное и результативное обучение на опыте по сравнению с передовыми человеко-созданными проектами памяти на всех тестах. При безопасной разработке и развертывании ALMA представляет собой шаг к самоулучшающимся системам ИИ, которые учатся быть адаптивными и непрерывными учениками.

English

The statelessness of foundation models bottlenecks agentic systems' ability to continually learn, a core capability for long-horizon reasoning and adaptation. To address this limitation, agentic systems commonly incorporate memory modules to retain and reuse past experience, aiming for continual learning during test time. However, most existing memory designs are human-crafted and fixed, which limits their ability to adapt to the diversity and non-stationarity of real-world tasks. In this paper, we introduce ALMA (Automated meta-Learning of Memory designs for Agentic systems), a framework that meta-learns memory designs to replace hand-engineered memory designs, therefore minimizing human effort and enabling agentic systems to be continual learners across diverse domains. Our approach employs a Meta Agent that searches over memory designs expressed as executable code in an open-ended manner, theoretically allowing the discovery of arbitrary memory designs, including database schemas as well as their retrieval and update mechanisms. Extensive experiments across four sequential decision-making domains demonstrate that the learned memory designs enable more effective and efficient learning from experience than state-of-the-art human-crafted memory designs on all benchmarks. When developed and deployed safely, ALMA represents a step toward self-improving AI systems that learn to be adaptive, continual learners.