Équipes à l'échelle ou temps à l'échelle ? Apprentissage continu à mémoire dans les systèmes multi-agents de grands modèles de langage
Scaling Teams or Scaling Time? Memory Enabled Lifelong Learning in LLM Multi-Agent Systems
March 27, 2026
Auteurs: Shanglin Wu, Yuyang Luo, Yueqing Liang, Kaiwen Shi, Yanfang Ye, Ali Payani, Kai Shu
cs.AI
Résumé
Les systèmes multi-agents de grands modèles de langage (LLM) peuvent évoluer selon deux dimensions distinctes : en augmentant le nombre d'agents et en s'améliorant grâce à l'accumulation d'expérience dans le temps. Bien que des travaux antérieurs aient étudié ces dimensions séparément, leur interaction sous des contraintes de coût réalistes reste peu claire. Dans cet article, nous introduisons une vision conceptuelle de l'évolutivité des systèmes multi-agents qui considère conjointement la taille de l'équipe et la capacité d'apprentissage continu, et nous étudions comment la conception de la mémoire partage cet espace. À cette fin, nous proposons LLMA-Mem, un cadre de mémoire permanente pour les systèmes multi-agents LLM sous des topologies de mémoire flexibles. Nous évaluons LLMA-Mem sur MultiAgentBench dans des environnements de codage, de recherche et de base de données. Empiriquement, LLMA-Mem améliore constamment les performances à long terme par rapport aux lignes de base tout en réduisant les coûts. Notre analyse révèle en outre un paysage d'évolutivité non monotone : des équipes plus importantes ne produisent pas toujours de meilleures performances à long terme, et des équipes plus petites peuvent surpasser des équipes plus grandes lorsque la mémoire soutient mieux la réutilisation de l'expérience. Ces résultats positionnent la conception de la mémoire comme une voie pratique pour faire évoluer les systèmes multi-agents de manière plus efficace et plus efficiente dans le temps.
English
Large language model (LLM) multi-agent systems can scale along two distinct dimensions: by increasing the number of agents and by improving through accumulated experience over time. Although prior work has studied these dimensions separately, their interaction under realistic cost constraints remains unclear. In this paper, we introduce a conceptual scaling view of multi-agent systems that jointly considers team size and lifelong learning ability, and we study how memory design shares this landscape. To this end, we propose LLMA-Mem, a lifelong memory framework for LLM multi-agent systems under flexible memory topologies. We evaluate LLMA-Mem on MultiAgentBench across coding, research, and database environments. Empirically, LLMA-Mem consistently improves long-horizon performance over baselines while reducing cost. Our analysis further reveals a non-monotonic scaling landscape: larger teams do not always produce better long-term performance, and smaller teams can outperform larger ones when memory better supports the reuse of experience. These findings position memory design as a practical path for scaling multi-agent systems more effectively and more efficiently over time.