モデルスケーリングからシステムスケーリングへ：エージェンティックAIにおけるハーネスのスケーリング

要旨

本論文は、エージェント型AIにおける次の主要なボトルネックが、モデルスケーリングのみならずシステムスケーリングであること、すなわち基盤モデルを中心とした監査可能、永続的、モジュール型、かつ検証可能なアーキテクチャの設計にあることを研究する。我々はこの変化を「ハーネスのスケーリング」と呼び、基盤モデルを取り巻く構造化された実行レイヤを、設計・評価・最適化の第一級の対象として扱う。近年の大規模言語モデルにより、エージェントはツールの使用、情報検索、記憶保持、長期的ワークフローの実行が可能になったものの、評価は依然としてモデル中心であり、エージェントを最終タスクの成功に還元し、記憶、検索、ツール使用、オーケストレーション、検証、ガバナンスを二次的な実装詳細として扱う傾向がある。この枠組みはますます不十分となっている。なぜなら、エージェントの性能は、基盤モデル、記憶基盤、コンテキスト構築器、スキルルーティング層、オーケストレーションループ、検証・ガバナンス層の相互作用から創発するからである。これらの要素は総体としてエージェントハーネスを形成し、モデルの能力を長期的なエージェント行動へと変換する。我々は、ハーネスのスケーリングを三つの中核的なボトルネック、すなわちコンテキストガバナンス、信頼できる記憶、動的スキルルーティング、そしてこれらを調整・制約するオーケストレーション機構とガバナンス機構を通じて研究する。さらに、一回限りのタスク成功を超えて、軌跡品質、記憶衛生、コンテキスト効率、通信忠実度、検証コスト、時間経過に伴う安全な進化を測定する、ハーネスレベルのベンチマークに関する研究計画を概説する。議論を具体化するために、我々はCheetahClaws（https://github.com/SafeRL-Lab/cheetahclaws）を開発した。これはPythonネイティブの参照ハーネスであり、Claude CodeやOpenClawと比較する。我々の主たる主張は、エージェント型AIの将来の進歩は、より強力な基盤モデルと同程度にシステム設計に依存するという点である。

English

This paper studies the next major bottleneck in agentic AI as system scaling, not only model scaling: the design of auditable, persistent, modular, and verifiable architectures around foundation models. We refer to this shift as scaling the harness: treating the structured execution layer around a foundation model as a first-class object of design, evaluation, and optimization. Although recent large language models enable agents to use tools, retrieve information, maintain memory, and execute long-horizon workflows, evaluation remains largely model-centric, often reducing agents to final-task success while treating memory, retrieval, tool use, orchestration, verification, and governance as secondary implementation details. This framing is increasingly inadequate because agent performance emerges from the interaction among the foundation model, memory substrate, context constructor, skill-routing layer, orchestration loop, and verification-and-governance layer. Together, these components form the agent harness, which translates model capability into long-horizon agent behavior. We study scaling the harness through three core bottlenecks: context governance, trustworthy memory, and dynamic skill routing, together with the orchestration and governance mechanisms that coordinate and constrain them. We further outline a research agenda for harness-level benchmarks that go beyond one-shot task success to measure trajectory quality, memory hygiene, context efficiency, communication fidelity, verification cost, and safe evolution over time. To make the discussion concrete, we develop CheetahClaws: https://github.com/SafeRL-Lab/cheetahclaws, a Python-native reference harness, and compare it with Claude Code and OpenClaw. Our main claim is that future progress in agentic AI will depend as much on system design as on stronger foundation models.