Les systèmes d'IA agentiques devraient être conçus comme des allocateurs marginux de tokens.
Agentic AI Systems Should Be Designed as Marginal Token Allocators
May 2, 2026
Auteurs: Siqi Zhu
cs.AI
Résumé
Ce document de position soutient que les systèmes d'IA agentiques devraient être conçus et évalués comme des économies d'allocation marginale de tokens, plutôt que comme des générateurs de texte tarifés à l'unité. Nous suivons une seule requête – un développeur demandant à un agent de programmation de corriger un test défaillant – à travers quatre couches économiques qui sont aujourd'hui conçues isolément : un routeur qui décide quel modèle répond, un agent qui décide de planifier, d'agir, de vérifier ou de reporter, une pile de service qui décide comment produire chaque token, et un pipeline d'entraînement qui décide si la trace mérite d'être apprise. Nous montrons que ces quatre couches résolvent la même condition du premier ordre – le bénéfice marginal est égal au coût marginal plus le coût de latence plus le coût de risque – avec des ensembles d'indices et des prix différents. Le cadre est délibérément minimaliste : nous ne proposons pas une théorie complète de l'économie de l'IA. Mais adopter l'allocation marginale des tokens comme objet comptable partagé explique pourquoi les systèmes qui minimisent localement les tokens les allouent mal globalement, prédit un petit ensemble de modes de défaillance récurrents (sur-routage, sur-délégation, sous-vérification, congestion du service, déploiements obsolètes, mauvaise utilisation du cache), et indique un programme de recherche concret en évaluation tenant compte des tokens, tarification de l'autonomie, service avec tarification de la congestion, et budgétisation de l'apprentissage par renforcement ajustée au risque.
English
This position paper argues that agentic AI systems should be designed and evaluated as marginal token allocation economies rather than as text generators priced by the unit. We follow a single request -- a developer asking a coding agent to fix a failing test -- through four economic layers that today are designed in isolation: a router that decides which model answers, an agent that decides whether to plan, act, verify, or defer, a serving stack that decides how to produce each token, and a training pipeline that decides whether the trace is worth learning from. We show that all four layers are solving the same first-order condition -- marginal benefit equals marginal cost plus latency cost plus risk cost -- with different index sets and different prices. The framing is deliberately minimal: we do not propose a complete theory of AI economics. But adopting marginal token allocation as the shared accounting object explains why systems that locally minimize tokens globally misallocate them, predicts a small set of recurring failure modes (over-routing, over-delegation, under-verification, serving congestion, stale rollouts, cache misuse), and points to a concrete research agenda in token-aware evaluation, autonomy pricing, congestion-priced serving, and risk-adjusted RL budgeting.