行動量子化を用いた行動クローニングの理解

要旨

ビヘイビアクローニングは、ロボティクス、自動運転、生成モデルなどにおける専門家の実演からの方策学習を可能にする、機械学習の基本的なパラダイムである。トランスフォーマーに代表される自己回帰モデルは、大規模言語モデル（LLM）から視覚言語行動システム（VLA）に至るまで、非常に効果的であることが実証されている。しかし、連続制御に自己回帰モデルを適用するには、量子化による行動の離散化が必要となり、この手法は広く採用されているものの、理論的な理解が十分に進んでいない。本論文は、この手法に対する理論的基盤を提供する。我々は、量子化誤差が時間経過に沿ってどのように伝播し、統計的サンプル複雑性と相互作用するかを分析する。動的システムが安定であり、方策が確率的平滑性条件を満たす限り、量子化された行動と対数損失を用いたビヘイビアクローニングは、既存の下限と一致する最適なサンプル複雑性を達成し、量子化誤差に対する時間依存性も多項式的に抑えられることを示す。さらに、異なる量子化スキームがこれらの要件を満たす場合と違反する場合を特徴付け、方策の平滑性を要求することなく誤差限界を改善することが証明されたモデルベースの拡張手法を提案する。最後に、量子化誤差と統計的複雑性の効果を統合的に捉える根本的な限界を確立する。

English

Behavior cloning is a fundamental paradigm in machine learning, enabling policy learning from expert demonstrations across robotics, autonomous driving, and generative models. Autoregressive models like transformer have proven remarkably effective, from large language models (LLMs) to vision-language-action systems (VLAs). However, applying autoregressive models to continuous control requires discretizing actions through quantization, a practice widely adopted yet poorly understood theoretically. This paper provides theoretical foundations for this practice. We analyze how quantization error propagates along the horizon and interacts with statistical sample complexity. We show that behavior cloning with quantized actions and log-loss achieves optimal sample complexity, matching existing lower bounds, and incurs only polynomial horizon dependence on quantization error, provided the dynamics are stable and the policy satisfies a probabilistic smoothness condition. We further characterize when different quantization schemes satisfy or violate these requirements, and propose a model-based augmentation that provably improves the error bound without requiring policy smoothness. Finally, we establish fundamental limits that jointly capture the effects of quantization error and statistical complexity.

行動量子化を用いた行動クローニングの理解

Understanding Behavior Cloning with Action Quantization

要旨

Support