Opschalen van Teams of Opschalen van Tijd? Geheugengestuurd Levenslang Leren in LLM Multi-Agent Systemen

Scaling Teams or Scaling Time? Memory Enabled Lifelong Learning in LLM Multi-Agent Systems

March 27, 2026

Auteurs: Shanglin Wu, Yuyang Luo, Yueqing Liang, Kaiwen Shi, Yanfang Ye, Ali Payani, Kai Shu

cs.AI

Samenvatting

Grootschalige taalmodellen (LLM) multi-agent systemen kunnen op twee verschillende dimensies worden opgeschaald: door het aantal agenten te vergroten en door verbetering via opgebouwde ervaring in de loop der tijd. Hoewel eerder onderzoek deze dimensies afzonderlijk heeft bestudeerd, blijft de interactie ertussen onder realistische kostenbeperkingen onduidelijk. In dit artikel introduceren we een conceptuele schaalbaarheidsvisie op multi-agent systemen die zowel teamgrootte als levenslang lerend vermogen gezamenlijk beschouwt, en we bestuderen hoe geheugenontwerp dit landschap deelt. Hiertoe stellen we LLMA-Mem voor, een levenslang geheugenraamwerk voor LLM multi-agent systemen onder flexibele geheugentopologieën. We evalueren LLMA-Mem op MultiAgentBench in coderings-, onderzoeks- en databaseomgevingen. Empirisch verbetert LLMA-Mem consequent de prestaties op lange termijn ten opzichte van baseline-methoden, terwijl de kosten worden verlaagd. Onze analyse onthult verder een niet-monotoon schaalbaarheidslandschap: grotere teams leveren niet altijd betere lange-termijnprestaties, en kleinere teams kunnen grotere overtreffen wanneer het geheugen het hergebruik van ervaring beter ondersteunt. Deze bevindingen positioneren geheugenontwerp als een praktisch pad om multi-agent systemen effectiever en efficiënter te schalen over tijd.

English

Large language model (LLM) multi-agent systems can scale along two distinct dimensions: by increasing the number of agents and by improving through accumulated experience over time. Although prior work has studied these dimensions separately, their interaction under realistic cost constraints remains unclear. In this paper, we introduce a conceptual scaling view of multi-agent systems that jointly considers team size and lifelong learning ability, and we study how memory design shares this landscape. To this end, we propose LLMA-Mem, a lifelong memory framework for LLM multi-agent systems under flexible memory topologies. We evaluate LLMA-Mem on MultiAgentBench across coding, research, and database environments. Empirically, LLMA-Mem consistently improves long-horizon performance over baselines while reducing cost. Our analysis further reveals a non-monotonic scaling landscape: larger teams do not always produce better long-term performance, and smaller teams can outperform larger ones when memory better supports the reuse of experience. These findings position memory design as a practical path for scaling multi-agent systems more effectively and more efficiently over time.