От масштабирования моделей к масштабированию систем: масштабирование инфраструктуры в агентном ИИ

Аннотация

Данная статья исследует следующий крупный узкий участок в агентном ИИ как масштабирование системы, а не только модели: проектирование аудируемых, постоянных, модульных и верифицируемых архитектур вокруг фундаментальных моделей. Этот сдвиг мы называем масштабированием обвязки: рассмотрение структурированного уровня выполнения вокруг фундаментальной модели как объекта первого класса при проектировании, оценке и оптимизации. Хотя современные большие языковые модели позволяют агентам использовать инструменты, извлекать информацию, поддерживать память и выполнять долгосрочные рабочие процессы, оценка остается в значительной степени модель-центричной, часто сводя агентов к успешному выполнению конечной задачи, рассматривая память, извлечение, использование инструментов, оркестрацию, верификацию и управление как второстепенные детали реализации. Такая формулировка становится все более неадекватной, поскольку производительность агента возникает из взаимодействия между фундаментальной моделью, подложкой памяти, конструктором контекста, уровнем маршрутизации навыков, циклом оркестрации и уровнем верификации и управления. В совокупности эти компоненты образуют обвязку агента, которая преобразует возможности модели в долгосрочное поведение агента. Мы изучаем масштабирование обвязки через три основных узких места: управление контекстом, надежная память и динамическая маршрутизация навыков, а также механизмы оркестрации и управления, которые координируют и ограничивают их. Далее мы намечаем исследовательскую программу для бенчмарков на уровне обвязки, которые выходят за рамки одноразового успеха задачи для измерения качества траектории, гигиены памяти, эффективности контекста, точности коммуникации, стоимости верификации и безопасной эволюции с течением времени. Чтобы сделать обсуждение конкретным, мы разрабатываем CheetahClaws: https://github.com/SafeRL-Lab/cheetahclaws, эталонную обвязку на Python, и сравниваем ее с Claude Code и OpenClaw. Наше основное утверждение заключается в том, что будущий прогресс в агентном ИИ будет в равной степени зависеть как от проектирования системы, так и от более сильных фундаментальных моделей.

English

This paper studies the next major bottleneck in agentic AI as system scaling, not only model scaling: the design of auditable, persistent, modular, and verifiable architectures around foundation models. We refer to this shift as scaling the harness: treating the structured execution layer around a foundation model as a first-class object of design, evaluation, and optimization. Although recent large language models enable agents to use tools, retrieve information, maintain memory, and execute long-horizon workflows, evaluation remains largely model-centric, often reducing agents to final-task success while treating memory, retrieval, tool use, orchestration, verification, and governance as secondary implementation details. This framing is increasingly inadequate because agent performance emerges from the interaction among the foundation model, memory substrate, context constructor, skill-routing layer, orchestration loop, and verification-and-governance layer. Together, these components form the agent harness, which translates model capability into long-horizon agent behavior. We study scaling the harness through three core bottlenecks: context governance, trustworthy memory, and dynamic skill routing, together with the orchestration and governance mechanisms that coordinate and constrain them. We further outline a research agenda for harness-level benchmarks that go beyond one-shot task success to measure trajectory quality, memory hygiene, context efficiency, communication fidelity, verification cost, and safe evolution over time. To make the discussion concrete, we develop CheetahClaws: https://github.com/SafeRL-Lab/cheetahclaws, a Python-native reference harness, and compare it with Claude Code and OpenClaw. Our main claim is that future progress in agentic AI will depend as much on system design as on stronger foundation models.