Масштабирование команд или времени? Обучение на протяжении всей жизни с поддержкой памяти в мультиагентных системах больших языковых моделей

Scaling Teams or Scaling Time? Memory Enabled Lifelong Learning in LLM Multi-Agent Systems

March 27, 2026

Авторы: Shanglin Wu, Yuyang Luo, Yueqing Liang, Kaiwen Shi, Yanfang Ye, Ali Payani, Kai Shu

cs.AI

Аннотация

Системы с множеством агентов на основе больших языковых моделей (LLM) могут масштабироваться по двум различным направлениям: за счет увеличения количества агентов и за счет совершенствования благодаря накопленному со временем опыту. Хотя предыдущие работы изучали эти направления по отдельности, их взаимодействие в условиях реальных ограничений по стоимости остается неясным. В данной статье мы представляем концептуальный взгляд на масштабирование мульти-агентных систем, который совместно учитывает размер команды и способность к непрерывному обучению, и исследуем, как дизайн памяти распределяется в этом пространстве. Для этого мы предлагаем LLMA-Mem — фреймворк долговременной памяти для LLM-мультиагентных систем с гибкой топологией памяти. Мы оцениваем LLMA-Mem на платформе MultiAgentBench в средах программирования, научных исследований и работы с базами данных. Экспериментально показано, что LLMA-Mem последовательно улучшает производительность в долгосрочных задачах по сравнению с базовыми методами, одновременно снижая затраты. Наш анализ также выявляет немонотонный ландшафт масштабирования: большие команды не всегда обеспечивают лучшую долгосрочную производительность, а меньшие команды могут превосходить большие, когда память лучше поддерживает повторное использование опыта. Эти результаты позиционируют дизайн памяти как практический путь для более эффективного и экономичного масштабирования мульти-агентных систем с течением времени.

English

Large language model (LLM) multi-agent systems can scale along two distinct dimensions: by increasing the number of agents and by improving through accumulated experience over time. Although prior work has studied these dimensions separately, their interaction under realistic cost constraints remains unclear. In this paper, we introduce a conceptual scaling view of multi-agent systems that jointly considers team size and lifelong learning ability, and we study how memory design shares this landscape. To this end, we propose LLMA-Mem, a lifelong memory framework for LLM multi-agent systems under flexible memory topologies. We evaluate LLMA-Mem on MultiAgentBench across coding, research, and database environments. Empirically, LLMA-Mem consistently improves long-horizon performance over baselines while reducing cost. Our analysis further reveals a non-monotonic scaling landscape: larger teams do not always produce better long-term performance, and smaller teams can outperform larger ones when memory better supports the reuse of experience. These findings position memory design as a practical path for scaling multi-agent systems more effectively and more efficiently over time.