Compreendendo a Clonagem de Comportamento com Quantização de Ações

Understanding Behavior Cloning with Action Quantization

March 20, 2026

Autores: Haoqun Cao, Tengyang Xie

cs.AI

Resumo

A clonagem de comportamento é um paradigma fundamental no aprendizado de máquina, permitindo o aprendizado de políticas a partir de demonstrações de especialistas em áreas como robótica, direção autônoma e modelos generativos. Modelos autorregressivos, como os transformadores, têm se mostrado notavelmente eficazes, desde grandes modelos de linguagem (LLMs) até sistemas visão-linguagem-ação (VLAs). No entanto, aplicar modelos autorregressivos ao controle contínuo requer a discretização de ações por meio de quantização, uma prática amplamente adotada, mas pouco compreendida teoricamente. Este artigo fornece fundamentos teóricos para essa prática. Analisamos como o erro de quantização se propaga ao longo do horizonte e interage com a complexidade amostral estatística. Mostramos que a clonagem de comportamento com ações quantizadas e perda logarítmica atinge uma complexidade amostral ótima, correspondendo aos limites inferiores existentes, e incorre apenas em uma dependência polinomial do horizonte em relação ao erro de quantização, desde que a dinâmica seja estável e a política satisfaça uma condição de suavidade probabilística. Caracterizamos ainda quando diferentes esquemas de quantização satisfazem ou violam esses requisitos e propomos uma ampliação baseada em modelo que comprovadamente melhora o limite de erro sem exigir suavidade da política. Por fim, estabelecemos limites fundamentais que capturam conjuntamente os efeitos do erro de quantização e da complexidade estatística.

English

Behavior cloning is a fundamental paradigm in machine learning, enabling policy learning from expert demonstrations across robotics, autonomous driving, and generative models. Autoregressive models like transformer have proven remarkably effective, from large language models (LLMs) to vision-language-action systems (VLAs). However, applying autoregressive models to continuous control requires discretizing actions through quantization, a practice widely adopted yet poorly understood theoretically. This paper provides theoretical foundations for this practice. We analyze how quantization error propagates along the horizon and interacts with statistical sample complexity. We show that behavior cloning with quantized actions and log-loss achieves optimal sample complexity, matching existing lower bounds, and incurs only polynomial horizon dependence on quantization error, provided the dynamics are stable and the policy satisfies a probabilistic smoothness condition. We further characterize when different quantization schemes satisfy or violate these requirements, and propose a model-based augmentation that provably improves the error bound without requiring policy smoothness. Finally, we establish fundamental limits that jointly capture the effects of quantization error and statistical complexity.