Von der Modellskalierung zur Systemskalierung: Skalierung des Steuerungssystems in der agentischen KI

Zusammenfassung

Diese Arbeit untersucht den nächsten großen Engpass in der agentischen KI als System-Skalierung, nicht nur als Modell-Skalierung: das Design von prüfbaren, persistenten, modularen und verifizierbaren Architekturen um Foundation-Modelle herum. Wir bezeichnen diesen Wandel als Skalierung des Harness: die Behandlung der strukturierten Ausführungsschicht um ein Foundation-Modell als erstklassiges Objekt von Design, Evaluation und Optimierung. Obwohl aktuelle große Sprachmodelle es Agenten ermöglichen, Werkzeuge zu nutzen, Informationen abzurufen, Gedächtnis zu bewahren und langfristige Arbeitsabläufe auszuführen, bleibt die Evaluation weitgehend modellzentriert. Agenten werden dabei oft auf den Erfolg bei der Endaufgabe reduziert, während Gedächtnis, Abruf, Werkzeugnutzung, Orchestrierung, Verifikation und Governance als sekundäre Implementierungsdetails behandelt werden. Diese Rahmung wird zunehmend unzulänglich, da die Leistung eines Agenten aus der Interaktion zwischen dem Foundation-Modell, dem Gedächtnissubstrat, dem Kontextkonstruktor, der Skill-Routing-Schicht, der Orchestrierungsschleife und der Verifikations- und Governance-Schicht entsteht. Zusammen bilden diese Komponenten den Agenten-Harness, der Modellfähigkeiten in langfristiges Agentenverhalten übersetzt. Wir untersuchen die Skalierung des Harness anhand von drei Kernengpässen: Kontext-Governance, vertrauenswürdiges Gedächtnis und dynamisches Skill-Routing, zusammen mit den Orchestrierungs- und Governance-Mechanismen, die diese koordinieren und einschränken. Darüber hinaus skizzieren wir eine Forschungsagenda für Harness-Level-Benchmarks, die über den einmaligen Aufgabenerfolg hinausgehen, um die Qualität der Trajektorien, Gedächtnishygiene, Kontexteffizienz, Kommunikationstreue, Verifikationskosten und sichere Evolution im Zeitverlauf zu messen. Um die Diskussion konkret zu gestalten, entwickeln wir CheetahClaws: https://github.com/SafeRL-Lab/cheetahclaws, einen Python-nativen Referenz-Harness, und vergleichen ihn mit Claude Code und OpenClaw. Unsere zentrale These ist, dass zukünftige Fortschritte in der agentischen KI ebenso vom Systemdesign abhängen werden wie von stärkeren Foundation-Modellen.

English

This paper studies the next major bottleneck in agentic AI as system scaling, not only model scaling: the design of auditable, persistent, modular, and verifiable architectures around foundation models. We refer to this shift as scaling the harness: treating the structured execution layer around a foundation model as a first-class object of design, evaluation, and optimization. Although recent large language models enable agents to use tools, retrieve information, maintain memory, and execute long-horizon workflows, evaluation remains largely model-centric, often reducing agents to final-task success while treating memory, retrieval, tool use, orchestration, verification, and governance as secondary implementation details. This framing is increasingly inadequate because agent performance emerges from the interaction among the foundation model, memory substrate, context constructor, skill-routing layer, orchestration loop, and verification-and-governance layer. Together, these components form the agent harness, which translates model capability into long-horizon agent behavior. We study scaling the harness through three core bottlenecks: context governance, trustworthy memory, and dynamic skill routing, together with the orchestration and governance mechanisms that coordinate and constrain them. We further outline a research agenda for harness-level benchmarks that go beyond one-shot task success to measure trajectory quality, memory hygiene, context efficiency, communication fidelity, verification cost, and safe evolution over time. To make the discussion concrete, we develop CheetahClaws: https://github.com/SafeRL-Lab/cheetahclaws, a Python-native reference harness, and compare it with Claude Code and OpenClaw. Our main claim is that future progress in agentic AI will depend as much on system design as on stronger foundation models.