Op weg naar een wetenschap van schaalvergroting van agentsystemen

Towards a Science of Scaling Agent Systems

December 9, 2025

Auteurs: Yubin Kim, Ken Gu, Chanwoo Park, Chunjong Park, Samuel Schmidgall, A. Ali Heydari, Yao Yan, Zhihan Zhang, Yuchen Zhuang, Mark Malhotra, Paul Pu Liang, Hae Won Park, Yuzhe Yang, Xuhai Xu, Yilun Du, Shwetak Patel, Tim Althoff, Daniel McDuff, Xin Liu

cs.AI

Samenvatting

Agents, op taalmodellen (LM) gebaseerde systemen die in staat zijn tot redeneren, plannen en handelen, worden het dominante paradigma voor real-world AI-toepassingen. Ondanks deze brede adoptie blijven de principes die hun prestaties bepalen onderbelicht, waardoor praktijkmensen zijn aangewezen op heuristieken in plaats van principiële ontwerpkeuzes. Wij dichten deze lacune door kwantitatieve schaalprincipes voor agentsystemen af te leiden. We evalueren dit aan de hand van vier uiteenlopende benchmarks: Finance-Agent, BrowseComp-Plus, PlanCraft en Workbench. Met vijf canonieke architecturen (Single, Independent, Centralized, Decentralized, Hybrid) geïnstantieerd over drie LLM-families, voeren we een gecontroleerde evaluatie uit over 180 configuraties met gestandaardiseerde tools en tokenbudgetten. We leiden een voorspellend model af met behulp van empirische coördinatiemetrics, waaronder efficiëntie, overhead, foutversterking en redundantie, dat een gekruisvalideerde R² = 0,513 bereikt. We identificeren drie dominante effecten: (1) een tool-coördinatie-afweging: onder vaste computationele budgetten leiden tool-intensieve taken onevenredig veel onder multi-agent overhead. (2) een capaciteitssaturatie: coördinatie levert afnemende of negatieve rendementen op (bèta = -0,408, p < 0,001) zodra single-agent-baselines ~45% overschrijden. (3) topologie-afhankelijke foutversterking: onafhankelijke agents versterken fouten 17,2x door ongecontroleerde propagatie, terwijl gecentraliseerde coördinatie dit beperkt tot 4,4x. Gecentraliseerde coördinatie verbetert de prestaties met 80,9% op parallelleerbare taken zoals financieel redeneren, terwijl gedecentraliseerde coördinatie uitblinkt bij dynamische webnavigatie (+9,2% vs. +0,2%). Voor sequentiële redeneertaken degradeerden echter alle multi-agent varianten de prestaties met 39-70%. Het framework voorspelt de optimale coördinatiestrategie voor 87% van de achteraf geteste configuraties, en biedt zo een voorspellend principe voor agent-schaling op basis van meetbare taakeigenschappen.

English

Agents, language model (LM)-based systems that are capable of reasoning, planning, and acting are becoming the dominant paradigm for real-world AI applications. Despite this widespread adoption, the principles that determine their performance remain underexplored, leaving practitioners to rely on heuristics rather than principled design choices. We address this gap by deriving quantitative scaling principles for agent systems. We evaluate this across four diverse benchmarks: Finance-Agent, BrowseComp-Plus, PlanCraft, and Workbench. Using five canonical architectures (Single, Independent, Centralized, Decentralized, Hybrid) instantiated across three LLM families, we perform a controlled evaluation spanning 180 configurations with standardized tools and token budgets. We derive a predictive model using empirical coordination metrics, including efficiency, overhead, error amplification, and redundancy, that achieves cross-validated R^2=0.513. We identify three dominant effects: (1) a tool-coordination trade-off: under fixed computational budgets, tool-heavy tasks suffer disproportionately from multi-agent overhead. (2) a capability saturation: coordination yields diminishing or negative returns (beta=-0.408, p<0.001) once single-agent baselines exceed ~45%. (3) topology-dependent error amplification: independent agents amplify errors 17.2x through unchecked propagation, while centralized coordination contains this to 4.4x. Centralized coordination improves performance by 80.9% on parallelizable tasks like financial reasoning, while decentralized coordination excels on dynamic web navigation (+9.2% vs. +0.2%). Yet for sequential reasoning tasks, all multi-agent variants degraded performance by 39-70%. The framework predicts the optimal coordination strategy for 87% of held-out configurations, providing a predictive principle of agentic scaling based on measurable task properties.