К созданию науки о масштабировании агентных систем
Towards a Science of Scaling Agent Systems
December 9, 2025
Авторы: Yubin Kim, Ken Gu, Chanwoo Park, Chunjong Park, Samuel Schmidgall, A. Ali Heydari, Yao Yan, Zhihan Zhang, Yuchen Zhuang, Mark Malhotra, Paul Pu Liang, Hae Won Park, Yuzhe Yang, Xuhai Xu, Yilun Du, Shwetak Patel, Tim Althoff, Daniel McDuff, Xin Liu
cs.AI
Аннотация
Агенты — системы на основе языковых моделей (LM), способные к рассуждениям, планированию и действиям, становятся доминирующей парадигмой для реальных приложений искусственного интеллекта. Несмотря на широкое распространение, принципы, определяющие их производительность, остаются недостаточно изученными, что заставляет практиков полагаться на эвристики, а не на принципиальные проектные решения. Мы устраняем этот пробел, выводя количественные принципы масштабирования для агентных систем. Мы оцениваем их на четырех различных бенчмарках: Finance-Agent, BrowseComp-Plus, PlanCraft и Workbench. Используя пять канонических архитектур (Одиночный, Независимый, Централизованный, Децентрализованный, Гибридный), реализованных на трех семействах LLM, мы проводим контролируемое оценивание, охватывающее 180 конфигураций со стандартизированными инструментами и бюджетом токенов. Мы выводим прогностическую модель, используя эмпирические метрики координации, включая эффективность, накладные расходы, усиление ошибок и избыточность, которая достигает перекрёстно проверенного R²=0,513. Мы идентифицируем три доминирующих эффекта: (1) компромисс между инструментами и координацией: при фиксированных вычислительных бюджетах задачи с интенсивным использованием инструментов непропорционально страдают от накладных расходов многоагентности; (2) насыщение возможностей: координация приносит убывающую или отрицательную отдачу (β=-0,408, p<0,001), когда базовые показатели одиночного агента превышают ~45%; (3) топологически зависимое усиление ошибок: независимые агенты усиливают ошибки в 17,2 раза из-за неконтролируемого распространения, в то время как централизованная координация ограничивает это значение до 4,4 раза. Централизованная координация улучшает производительность на 80,9% в параллелизуемых задачах, таких как финансовые рассуждения, тогда как децентрализованная координация превосходит в динамической веб-навигации (+9,2% против +0,2%). Однако для последовательных задач рассуждения все многоагентные варианты ухудшали производительность на 39–70%. Данная framework-модель предсказывает оптимальную стратегию координации для 87% проверочных конфигураций, предоставляя прогностический принцип агентного масштабирования на основе измеримых свойств задачи.
English
Agents, language model (LM)-based systems that are capable of reasoning, planning, and acting are becoming the dominant paradigm for real-world AI applications. Despite this widespread adoption, the principles that determine their performance remain underexplored, leaving practitioners to rely on heuristics rather than principled design choices. We address this gap by deriving quantitative scaling principles for agent systems. We evaluate this across four diverse benchmarks: Finance-Agent, BrowseComp-Plus, PlanCraft, and Workbench. Using five canonical architectures (Single, Independent, Centralized, Decentralized, Hybrid) instantiated across three LLM families, we perform a controlled evaluation spanning 180 configurations with standardized tools and token budgets. We derive a predictive model using empirical coordination metrics, including efficiency, overhead, error amplification, and redundancy, that achieves cross-validated R^2=0.513. We identify three dominant effects: (1) a tool-coordination trade-off: under fixed computational budgets, tool-heavy tasks suffer disproportionately from multi-agent overhead. (2) a capability saturation: coordination yields diminishing or negative returns (beta=-0.408, p<0.001) once single-agent baselines exceed ~45%. (3) topology-dependent error amplification: independent agents amplify errors 17.2x through unchecked propagation, while centralized coordination contains this to 4.4x. Centralized coordination improves performance by 80.9% on parallelizable tasks like financial reasoning, while decentralized coordination excels on dynamic web navigation (+9.2% vs. +0.2%). Yet for sequential reasoning tasks, all multi-agent variants degraded performance by 39-70%. The framework predicts the optimal coordination strategy for 87% of held-out configurations, providing a predictive principle of agentic scaling based on measurable task properties.