Skalierung von Teams oder Skalierung von Zeit? Speichergestütztes kontinuierliches Lernen in LLM-Multi-Agenten-Systemen
Scaling Teams or Scaling Time? Memory Enabled Lifelong Learning in LLM Multi-Agent Systems
March 27, 2026
Autoren: Shanglin Wu, Yuyang Luo, Yueqing Liang, Kaiwen Shi, Yanfang Ye, Ali Payani, Kai Shu
cs.AI
Zusammenfassung
Große Sprachmodell (LLM) Multi-Agenten-Systeme können entlang zweier unterschiedlicher Dimensionen skaliert werden: durch die Erhöhung der Anzahl der Agenten und durch Verbesserung mittels angesammelter Erfahrung über die Zeit. Obwohl frühere Arbeiten diese Dimensionen separat untersucht haben, bleibt ihre Wechselwirkung unter realistischen Kostenbeschränkungen unklar. In diesem Artikel führen wir eine konzeptionelle Skalierungsperspektive für Multi-Agenten-Systeme ein, die sowohl die Teamgröße als auch die Fähigkeit zum lebenslangen Lernen gemeinsam betrachtet, und wir untersuchen, wie sich der Speicherentwurf in diesem Umfeld positioniert. Zu diesem Zweck schlagen wir LLMA-Mem vor, einen Rahmen für lebenslangen Speicher für LLM-Multi-Agenten-Systeme mit flexiblen Speichertopologien. Wir evaluieren LLMA-Mem auf MultiAgentBench in den Bereichen Programmierung, Forschung und Datenbankumgebungen. Empirisch verbessert LLMA-Mem durchgängig die Leistung über lange Zeiträume im Vergleich zu Baseline-Modellen, während gleichzeitig die Kosten reduziert werden. Unsere Analyse zeigt weiterhin eine nicht-monotone Skalierungslandschaft: Größere Teams erzielen nicht immer eine bessere Langzeitleistung, und kleinere Teams können größere übertreffen, wenn der Speicher die Wiederverwendung von Erfahrungen besser unterstützt. Diese Erkenntnisse positionieren den Speicherentwurf als einen praktischen Weg, um Multi-Agenten-Systeme im Laufe der Zeit effektiver und effizienter zu skalieren.
English
Large language model (LLM) multi-agent systems can scale along two distinct dimensions: by increasing the number of agents and by improving through accumulated experience over time. Although prior work has studied these dimensions separately, their interaction under realistic cost constraints remains unclear. In this paper, we introduce a conceptual scaling view of multi-agent systems that jointly considers team size and lifelong learning ability, and we study how memory design shares this landscape. To this end, we propose LLMA-Mem, a lifelong memory framework for LLM multi-agent systems under flexible memory topologies. We evaluate LLMA-Mem on MultiAgentBench across coding, research, and database environments. Empirically, LLMA-Mem consistently improves long-horizon performance over baselines while reducing cost. Our analysis further reveals a non-monotonic scaling landscape: larger teams do not always produce better long-term performance, and smaller teams can outperform larger ones when memory better supports the reuse of experience. These findings position memory design as a practical path for scaling multi-agent systems more effectively and more efficiently over time.