Van modelschaling naar systeemschaling: het opschalen van het regelsysteem in agentische AI

Samenvatting

Dit artikel bestudeert de volgende grote bottleneck in agentische AI, namelijk systeemschaling, en niet alleen modelschaling: het ontwerp van controleerbare, persistente, modulaire en verifieerbare architecturen rond fundamentmodellen. We verwijzen naar deze verschuiving als het schalen van het harnas: het behandelen van de gestructureerde uitvoeringslaag rond een fundamentmodel als een eersteklas object van ontwerp, evaluatie en optimalisatie. Hoewel recente grote taalmodellen agenten in staat stellen om hulpmiddelen te gebruiken, informatie op te vragen, geheugen te onderhouden en langetermijnworkflows uit te voeren, blijft evaluatie grotendeels modelgericht, waarbij agenten vaak worden gereduceerd tot eindtaaksucces en geheugen, ophalen, toolgebruik, orkestratie, verificatie en governance als secundaire implementatiedetails worden behandeld. Dit frame is steeds ontoereikend omdat agentprestaties voortkomen uit de interactie tussen het fundamentmodel, het geheugensubstraat, de contextconstructor, de vaardighedenrouteringslaag, de orkestratielus en de verificatie-en-governancelaag. Samen vormen deze componenten het agentharnas, dat modelcapaciteit vertaalt in langetermijnagentgedrag. We bestuderen het schalen van het harnas via drie kernbottlenecks: contextgovernance, betrouwbaar geheugen en dynamische vaardighedenroutering, samen met de orkestratie- en governancemechanismen die deze coördineren en beperken. Verder schetsen we een onderzoeksagenda voor benchmarks op harnasniveau die verder gaan dan eenmalig taaksucces en die trajectkwaliteit, geheugenhygiëne, contextefficiëntie, communicatietrouw, verificatiekosten en veilige evolutie in de tijd meten. Om de discussie concreet te maken, ontwikkelen we CheetahClaws: https://github.com/SafeRL-Lab/cheetahclaws, een native Python-referentieharnas, en vergelijken we het met Claude Code en OpenClaw. Onze hoofdclaim is dat toekomstige vooruitgang in agentische AI evenzeer zal afhangen van systeemontwerp als van sterkere fundamentmodellen.

English

This paper studies the next major bottleneck in agentic AI as system scaling, not only model scaling: the design of auditable, persistent, modular, and verifiable architectures around foundation models. We refer to this shift as scaling the harness: treating the structured execution layer around a foundation model as a first-class object of design, evaluation, and optimization. Although recent large language models enable agents to use tools, retrieve information, maintain memory, and execute long-horizon workflows, evaluation remains largely model-centric, often reducing agents to final-task success while treating memory, retrieval, tool use, orchestration, verification, and governance as secondary implementation details. This framing is increasingly inadequate because agent performance emerges from the interaction among the foundation model, memory substrate, context constructor, skill-routing layer, orchestration loop, and verification-and-governance layer. Together, these components form the agent harness, which translates model capability into long-horizon agent behavior. We study scaling the harness through three core bottlenecks: context governance, trustworthy memory, and dynamic skill routing, together with the orchestration and governance mechanisms that coordinate and constrain them. We further outline a research agenda for harness-level benchmarks that go beyond one-shot task success to measure trajectory quality, memory hygiene, context efficiency, communication fidelity, verification cost, and safe evolution over time. To make the discussion concrete, we develop CheetahClaws: https://github.com/SafeRL-Lab/cheetahclaws, a Python-native reference harness, and compare it with Claude Code and OpenClaw. Our main claim is that future progress in agentic AI will depend as much on system design as on stronger foundation models.