Inzicht in Gedragskloneren met Actiekwantisering
Understanding Behavior Cloning with Action Quantization
March 20, 2026
Auteurs: Haoqun Cao, Tengyang Xie
cs.AI
Samenvatting
Gedragsklonen is een fundamenteel paradigma in machinaal leren, dat beleidsleren mogelijk maakt op basis van expertdemonstraties in uiteenlopende gebieden zoals robotica, autonoom rijden en generatieve modellen. Autoregressieve modellen zoals de transformer hebben zich bijzonder effectief getoond, van grote taalmodellen (LLM's) tot visie-taal-actie-systemen (VLA's). Het toepassen van autoregressieve modellen op continue controle vereist echter het discretiseren van acties via kwantisatie, een veelgebruikte praktijk die theoretisch nog slecht wordt begrepen. Dit artikel legt de theoretische fundamenten voor deze praktijk. Wij analyseren hoe kwantisatiefouten zich voortplanten langs de horizon en interageren met statistische steekproefcomplexiteit. Wij tonen aan dat gedragsklonen met gekwantiseerde acties en log-verlies een optimale steekproefcomplexiteit bereikt, overeenkomend met bestaande ondergrenzen, en slechts een polynoomafhankelijkheid van de horizon oplevert ten opzichte van de kwantisatiefout, mits de dynamica stabiel zijn en het beleid voldoet aan een probabilistische gladheidsvoorwaarde. Verder karakteriseren wij wanneer verschillende kwantiseringsschema's aan deze vereisten voldoen of ze schenden, en stellen wij een op modellen gebaseerde augmentatie voor die de foutengrens aantoonbaar verbetert zonder gladheid van het beleid te vereisen. Ten slotte leggen wij fundamentele grenzen vast die de effecten van kwantisatiefout en statistische complexiteit gezamenlijk vastleggen.
English
Behavior cloning is a fundamental paradigm in machine learning, enabling policy learning from expert demonstrations across robotics, autonomous driving, and generative models. Autoregressive models like transformer have proven remarkably effective, from large language models (LLMs) to vision-language-action systems (VLAs). However, applying autoregressive models to continuous control requires discretizing actions through quantization, a practice widely adopted yet poorly understood theoretically. This paper provides theoretical foundations for this practice. We analyze how quantization error propagates along the horizon and interacts with statistical sample complexity. We show that behavior cloning with quantized actions and log-loss achieves optimal sample complexity, matching existing lower bounds, and incurs only polynomial horizon dependence on quantization error, provided the dynamics are stable and the policy satisfies a probabilistic smoothness condition. We further characterize when different quantization schemes satisfy or violate these requirements, and propose a model-based augmentation that provably improves the error bound without requiring policy smoothness. Finally, we establish fundamental limits that jointly capture the effects of quantization error and statistical complexity.