QuantVLA: 視覚言語行動モデルにおけるスケール較正済み学習後量子化

QuantVLA: Scale-Calibrated Post-Training Quantization for Vision-Language-Action Models

February 23, 2026

著者: Jingxuan Zhang, Yunta Hsieh, Zhongwei Wang, Haokun Lin, Xin Wang, Ziqi Wang, Yingtie Lei, Mi Zhang

cs.AI

要旨

ビジョン言語行動（VLA）モデルは、具現化エージェントの知覚、言語、制御を統合するが、特にモデルが長い時間軸と大規模なバックボーンへスケールするにつれて、計算量とメモリ要求が急速に増大するため、実用展開において重大な課題に直面している。これらのボトルネックに対処するため、我々はQuantVLAを提案する。これは訓練不要の学習後量子化（PTQ）フレームワークであり、我々の知る限りではVLAシステム向け初のPTQ手法であり、拡散トランスフォーマー（DiT）行動ヘッドの量子化に成功した初めての事例である。QuantVLAは、3つのスケール較正コンポーネントを組み込んでいる：(1) 言語バックボーンとDiTの全線形層を整数化しつつ、元の演算子スケジュールを維持するために注意機構の射影を浮動小数点のまま保持する選択的量子化レイアウト、(2) 注意ロジットを安定化させる軽量なヘッド単位のスケーリング機構であり、推論時には逆量子化スケールに折り畳まれる注意温度マッチング、(3) 射影後のエネルギードリフトを軽減する層単位の残差インターフェース較正である出力ヘッドバランシング。本フレームワークは追加の訓練を必要とせず、少量のラベルなし較正バッファのみを使用し、アーキテクチャを変更することなく、低ビットの重みと活性化に対して整数カーネルをサポートする。代表的なVLAモデルを用いたLIBEROでの評価において、QuantVLAは全精度ベースラインのタスク成功率を上回り、量子化コンポーネントで約70%の相対的なメモリ節約を達成し、エンドツーエンドの推論レイテンシで1.22倍の高速化を実現した。これは、計算資源、メモリ、電力に厳しい制約下でのスケーラブルな低ビット具現化知能への実用的な道筋を示すものである。

English

Vision-language-action (VLA) models unify perception, language, and control for embodied agents but face significant challenges in practical deployment due to rapidly increasing compute and memory demands, especially as models scale to longer horizons and larger backbones. To address these bottlenecks, we introduce QuantVLA, a training-free post-training quantization (PTQ) framework that, to our knowledge, is the first PTQ approach for VLA systems and the first to successfully quantize a diffusion transformer (DiT) action head. QuantVLA incorporates three scale-calibrated components: (1) a selective quantization layout that integerizes all linear layers in both the language backbone and the DiT while keeping attention projections in floating point to preserve the original operator schedule; (2) attention temperature matching, a lightweight per-head scaling mechanism that stabilizes attention logits and is folded into the dequantization scales at inference; and (3) output head balancing, a per-layer residual interface calibration that mitigates post-projection energy drift. The framework requires no additional training, uses only a small unlabeled calibration buffer, and supports integer kernels for low-bit weights and activations while leaving the architecture unchanged. Across representative VLA models on LIBERO, QuantVLA exceeds the task success rates of full-precision baselines, achieves about 70% relative memory savings on the quantized components, and delivers a 1.22x speedup in end-to-end inference latency, providing a practical pathway toward scalable low-bit embodied intelligence under strict compute, memory, and power constraints.