Rumo a uma Ciência da Escalabilidade de Sistemas de Agentes
Towards a Science of Scaling Agent Systems
December 9, 2025
Autores: Yubin Kim, Ken Gu, Chanwoo Park, Chunjong Park, Samuel Schmidgall, A. Ali Heydari, Yao Yan, Zhihan Zhang, Yuchen Zhuang, Mark Malhotra, Paul Pu Liang, Hae Won Park, Yuzhe Yang, Xuhai Xu, Yilun Du, Shwetak Patel, Tim Althoff, Daniel McDuff, Xin Liu
cs.AI
Resumo
Os agentes, sistemas baseados em modelos de linguagem (LM) capazes de raciocinar, planejar e agir, estão a tornar-se o paradigma dominante para aplicações de IA no mundo real. Apesar desta adoção generalizada, os princípios que determinam o seu desempenho permanecem pouco explorados, levando os profissionais a depender de heurísticas em vez de escolhas de desenho fundamentadas. Nós abordamos esta lacuna derivando princípios de escalonamento quantitativos para sistemas de agentes. Avaliamos isto em quatro *benchmarks* diversos: Finance-Agent, BrowseComp-Plus, PlanCraft e Workbench. Utilizando cinco arquiteturas canónicas (Único, Independente, Centralizada, Descentralizada, Híbrida) instanciadas em três famílias de LLM, realizamos uma avaliação controlada abrangendo 180 configurações com ferramentas e orçamentos de *tokens* padronizados. Derivamos um modelo preditivo usando métricas de coordenação empíricas, incluindo eficiência, sobrecarga, amplificação de erros e redundância, que atinge um R²=0,513 na validação cruzada. Identificamos três efeitos dominantes: (1) um compromisso (*trade-off*) coordenação-ferramenta: sob orçamentos computacionais fixos, tarefas intensivas em ferramentas sofrem desproporcionalmente com a sobrecarga de multiagentes. (2) uma saturação de capacidade: a coordenação produz retornos decrescentes ou negativos (beta=-0,408, p<0,001) quando as linhas de base de agente único excedem ~45%. (3) amplificação de erros dependente da topologia: agentes independentes amplificam os erros 17,2x através de propagação não verificada, enquanto a coordenação centralizada contém isto a 4,4x. A coordenação centralizada melhora o desempenho em 80,9% em tarefas paralelizáveis como o raciocínio financeiro, enquanto a coordenação descentralizada se destaca na navegação web dinâmica (+9,2% vs. +0,2%). No entanto, para tarefas de raciocínio sequencial, todas as variantes de multiagentes degradaram o desempenho em 39-70%. O *framework* prevê a estratégia de coordenação ótima para 87% das configurações retidas, fornecendo um princípio preditivo de escalonamento agentivo baseado em propriedades de tarefa mensuráveis.
English
Agents, language model (LM)-based systems that are capable of reasoning, planning, and acting are becoming the dominant paradigm for real-world AI applications. Despite this widespread adoption, the principles that determine their performance remain underexplored, leaving practitioners to rely on heuristics rather than principled design choices. We address this gap by deriving quantitative scaling principles for agent systems. We evaluate this across four diverse benchmarks: Finance-Agent, BrowseComp-Plus, PlanCraft, and Workbench. Using five canonical architectures (Single, Independent, Centralized, Decentralized, Hybrid) instantiated across three LLM families, we perform a controlled evaluation spanning 180 configurations with standardized tools and token budgets. We derive a predictive model using empirical coordination metrics, including efficiency, overhead, error amplification, and redundancy, that achieves cross-validated R^2=0.513. We identify three dominant effects: (1) a tool-coordination trade-off: under fixed computational budgets, tool-heavy tasks suffer disproportionately from multi-agent overhead. (2) a capability saturation: coordination yields diminishing or negative returns (beta=-0.408, p<0.001) once single-agent baselines exceed ~45%. (3) topology-dependent error amplification: independent agents amplify errors 17.2x through unchecked propagation, while centralized coordination contains this to 4.4x. Centralized coordination improves performance by 80.9% on parallelizable tasks like financial reasoning, while decentralized coordination excels on dynamic web navigation (+9.2% vs. +0.2%). Yet for sequential reasoning tasks, all multi-agent variants degraded performance by 39-70%. The framework predicts the optimal coordination strategy for 87% of held-out configurations, providing a predictive principle of agentic scaling based on measurable task properties.