Do Escalonamento de Modelos ao Escalonamento de Sistemas: Escalonando o Arcabouço em IA Agentiva

Resumo

Este artigo estuda o próximo grande gargalo na IA agentiva como escalonamento de sistemas, não apenas escalonamento de modelos: o projeto de arquiteturas auditáveis, persistentes, modulares e verificáveis em torno de modelos fundamentais. Referimo-nos a esta mudança como escalonamento do arnês: tratar a camada de execução estruturada em torno de um modelo fundamental como um objeto de primeira classe de projeto, avaliação e otimização. Embora os recentes grandes modelos de linguagem permitam que agentes usem ferramentas, recuperem informações, mantenham memória e executem fluxos de trabalho de longo horizonte, a avaliação permanece amplamente centrada no modelo, frequentemente reduzindo agentes ao sucesso em tarefas finais enquanto trata memória, recuperação, uso de ferramentas, orquestração, verificação e governança como detalhes secundários de implementação. Este enquadramento é cada vez mais inadequado porque o desempenho do agente emerge da interação entre o modelo fundamental, o substrato de memória, o construtor de contexto, a camada de roteamento de habilidades, o loop de orquestração e a camada de verificação e governança. Juntos, esses componentes formam o arnês do agente, que traduz a capacidade do modelo em comportamento agente de longo horizonte. Estudamos o escalonamento do arnês através de três gargalos principais: governança de contexto, memória confiável e roteamento dinâmico de habilidades, juntamente com os mecanismos de orquestração e governança que os coordenam e restringem. Além disso, delineamos uma agenda de pesquisa para benchmarks no nível do arnês que vão além do sucesso em tarefas únicas para medir qualidade da trajetória, higiene da memória, eficiência de contexto, fidelidade de comunicação, custo de verificação e evolução segura ao longo do tempo. Para tornar a discussão concreta, desenvolvemos o CheetahClaws: https://github.com/SafeRL-Lab/cheetahclaws, um arnês de referência nativo em Python, e o comparamos com Claude Code e OpenClaw. Nossa afirmação principal é que o progresso futuro na IA agentiva dependerá tanto do projeto de sistemas quanto de modelos fundamentais mais fortes.

English

This paper studies the next major bottleneck in agentic AI as system scaling, not only model scaling: the design of auditable, persistent, modular, and verifiable architectures around foundation models. We refer to this shift as scaling the harness: treating the structured execution layer around a foundation model as a first-class object of design, evaluation, and optimization. Although recent large language models enable agents to use tools, retrieve information, maintain memory, and execute long-horizon workflows, evaluation remains largely model-centric, often reducing agents to final-task success while treating memory, retrieval, tool use, orchestration, verification, and governance as secondary implementation details. This framing is increasingly inadequate because agent performance emerges from the interaction among the foundation model, memory substrate, context constructor, skill-routing layer, orchestration loop, and verification-and-governance layer. Together, these components form the agent harness, which translates model capability into long-horizon agent behavior. We study scaling the harness through three core bottlenecks: context governance, trustworthy memory, and dynamic skill routing, together with the orchestration and governance mechanisms that coordinate and constrain them. We further outline a research agenda for harness-level benchmarks that go beyond one-shot task success to measure trajectory quality, memory hygiene, context efficiency, communication fidelity, verification cost, and safe evolution over time. To make the discussion concrete, we develop CheetahClaws: https://github.com/SafeRL-Lab/cheetahclaws, a Python-native reference harness, and compare it with Claude Code and OpenClaw. Our main claim is that future progress in agentic AI will depend as much on system design as on stronger foundation models.