Agentische KI-Systeme sollten als marginale Token-Allokatoren gestaltet werden.
Agentic AI Systems Should Be Designed as Marginal Token Allocators
May 2, 2026
Autoren: Siqi Zhu
cs.AI
Zusammenfassung
Dieses Positionspapier argumentiert, dass agentische KI-Systeme als marginale Token-Allokationsökonomien konzipiert und bewertet werden sollten, nicht als Texterzeuger, die nach Einheiten abgerechnet werden. Wir verfolgen eine einzelne Anfrage – einen Entwickler, der einen Coding-Agenten bittet, einen fehlschlagenden Test zu beheben – durch vier ökonomische Ebenen, die heute isoliert gestaltet werden: einen Router, der entscheidet, welches Modell antwortet, einen Agenten, der entscheidet, ob er plant, handelt, verifiziert oder aufschiebt, einen Serving-Stack, der entscheidet, wie jedes Token erzeugt wird, und eine Trainingspipeline, die entscheidet, ob die Trace-Daten lernwert sind. Wir zeigen, dass alle vier Ebenen dieselbe Bedingung erster Ordnung lösen – Grenznutzen gleich Grenzkosten plus Latenzkosten plus Risikokosten – jedoch mit unterschiedlichen Indexmengen und unterschiedlichen Preisen. Der Rahmen ist bewusst minimalistisch: Wir schlagen keine vollständige Theorie der KI-Ökonomie vor. Aber die Annahme der marginalen Token-Allokation als gemeinsames Rechnungsobjekt erklärt, warum Systeme, die Token lokal minimieren, sie global falsch zuweisen, sagt eine kleine Gruppe wiederkehrender Fehlermodi voraus (Over-Routing, Over-Delegation, Under-Verification, Serving-Überlastung, veraltete Rollouts, Cache-Fehlgebrauch) und weist auf eine konkrete Forschungsagenda in den Bereichen token-bewusste Evaluation, Autonomie-Preisgestaltung, überlastungsabhängiges Serving und risikoadjustiertes RL-Budgeting hin.
English
This position paper argues that agentic AI systems should be designed and evaluated as marginal token allocation economies rather than as text generators priced by the unit. We follow a single request -- a developer asking a coding agent to fix a failing test -- through four economic layers that today are designed in isolation: a router that decides which model answers, an agent that decides whether to plan, act, verify, or defer, a serving stack that decides how to produce each token, and a training pipeline that decides whether the trace is worth learning from. We show that all four layers are solving the same first-order condition -- marginal benefit equals marginal cost plus latency cost plus risk cost -- with different index sets and different prices. The framing is deliberately minimal: we do not propose a complete theory of AI economics. But adopting marginal token allocation as the shared accounting object explains why systems that locally minimize tokens globally misallocate them, predicts a small set of recurring failure modes (over-routing, over-delegation, under-verification, serving congestion, stale rollouts, cache misuse), and points to a concrete research agenda in token-aware evaluation, autonomy pricing, congestion-priced serving, and risk-adjusted RL budgeting.