Comprendre le Clonage Comportemental avec Quantification des Actions

Understanding Behavior Cloning with Action Quantization

March 20, 2026

Auteurs: Haoqun Cao, Tengyang Xie

cs.AI

Résumé

Le clonage comportemental est un paradigme fondamental en apprentissage automatique, permettant l'apprentissage de politiques à partir de démonstrations d'experts dans des domaines tels que la robotique, la conduite autonome et les modèles génératifs. Les modèles autorégressifs comme les transformateurs se sont avérés remarquablement efficaces, des grands modèles de langage (LLM) aux systèmes vision-langage-action (VLA). Cependant, l'application de modèles autorégressifs au contrôle continu nécessite une discrétisation des actions par quantification, une pratique largement adoptée mais mal comprise d'un point de vue théorique. Cet article jette les bases théoriques de cette pratique. Nous analysons comment l'erreur de quantification se propage le long de l'horizon et interagit avec la complexité d'échantillonnage statistique. Nous montrons que le clonage comportemental avec des actions quantifiées et une perte logarithmique atteint une complexité d'échantillonnage optimale, correspondant aux bornes inférieures existantes, et n'entraîne qu'une dépendance polynomiale à l'horizon sur l'erreur de quantification, à condition que la dynamique soit stable et que la politique satisfasse une condition de régularité probabiliste. Nous caractérisons en outre les cas où différents schémas de quantification satisfont ou violent ces exigences, et proposons une augmentation par modèle qui améliore de manière prouvée la borne d'erreur sans exiger de régularité de la politique. Enfin, nous établissons des limites fondamentales qui capturent conjointement les effets de l'erreur de quantification et de la complexité statistique.

English

Behavior cloning is a fundamental paradigm in machine learning, enabling policy learning from expert demonstrations across robotics, autonomous driving, and generative models. Autoregressive models like transformer have proven remarkably effective, from large language models (LLMs) to vision-language-action systems (VLAs). However, applying autoregressive models to continuous control requires discretizing actions through quantization, a practice widely adopted yet poorly understood theoretically. This paper provides theoretical foundations for this practice. We analyze how quantization error propagates along the horizon and interacts with statistical sample complexity. We show that behavior cloning with quantized actions and log-loss achieves optimal sample complexity, matching existing lower bounds, and incurs only polynomial horizon dependence on quantization error, provided the dynamics are stable and the policy satisfies a probabilistic smoothness condition. We further characterize when different quantization schemes satisfy or violate these requirements, and propose a model-based augmentation that provably improves the error bound without requiring policy smoothness. Finally, we establish fundamental limits that jointly capture the effects of quantization error and statistical complexity.