QuantVLA : Quantification post-entraînement à échelle calibrée pour les modèles vision-langage-action
QuantVLA: Scale-Calibrated Post-Training Quantization for Vision-Language-Action Models
February 23, 2026
Auteurs: Jingxuan Zhang, Yunta Hsieh, Zhongwei Wang, Haokun Lin, Xin Wang, Ziqi Wang, Yingtie Lei, Mi Zhang
cs.AI
Résumé
Les modèles vision-langage-action (VLA) unifient la perception, le langage et le contrôle pour les agents embodiés, mais rencontrent des défis majeurs lors du déploiement pratique en raison de l'augmentation rapide des besoins en calcul et en mémoire, particulièrement lorsque les modèles passent à des horizons temporels plus longs et des architectures principales plus grandes. Pour résoudre ces goulots d'étranglement, nous présentons QuantVLA, un cadre de quantification post-entraînement (PTQ) sans entraînement supplémentaire qui, à notre connaissance, est la première approche PTQ pour les systèmes VLA et la première à quantifier avec succès une tête d'action à transformeur de diffusion (DiT). QuantVLA intègre trois composants à échelle calibrée : (1) une disposition de quantification sélective qui entierise toutes les couches linéaires de l'architecture langagière principale et du DiT tout en conservant les projections d'attention en virgule flottante pour préserver le calendrier opératoire d'origine ; (2) un appariement de température d'attention, un mécanisme d'échelle léger par tête qui stabilise les logits d'attention et est intégré aux échelles de déquantification lors de l'inférence ; et (3) un équilibrage de tête de sortie, une calibration d'interface résiduelle par couche qui atténue la dérive énergétique post-projection. Le cadre ne nécessite aucun entraînement supplémentaire, n'utilise qu'un petit tampon de calibration non étiqueté, et prend en charge les noyaux entiers pour les poids et activations en basse précision tout en laissant l'architecture inchangée. Sur des modèles VLA représentatifs évalués sur LIBERO, QuantVLA dépasse les taux de réussite des lignes de base en pleine précision, réalise environ 70 % d'économie de mémoire relative sur les composants quantifiés, et offre une accélération de 1,22x de la latence d'inférence de bout en bout, offrant ainsi une voie pratique vers une intelligence embodiée scalable en basse précision sous des contraintes strictes de calcul, de mémoire et de puissance.
English
Vision-language-action (VLA) models unify perception, language, and control for embodied agents but face significant challenges in practical deployment due to rapidly increasing compute and memory demands, especially as models scale to longer horizons and larger backbones. To address these bottlenecks, we introduce QuantVLA, a training-free post-training quantization (PTQ) framework that, to our knowledge, is the first PTQ approach for VLA systems and the first to successfully quantize a diffusion transformer (DiT) action head. QuantVLA incorporates three scale-calibrated components: (1) a selective quantization layout that integerizes all linear layers in both the language backbone and the DiT while keeping attention projections in floating point to preserve the original operator schedule; (2) attention temperature matching, a lightweight per-head scaling mechanism that stabilizes attention logits and is folded into the dequantization scales at inference; and (3) output head balancing, a per-layer residual interface calibration that mitigates post-projection energy drift. The framework requires no additional training, uses only a small unlabeled calibration buffer, and supports integer kernels for low-bit weights and activations while leaving the architecture unchanged. Across representative VLA models on LIBERO, QuantVLA exceeds the task success rates of full-precision baselines, achieves about 70% relative memory savings on the quantized components, and delivers a 1.22x speedup in end-to-end inference latency, providing a practical pathway toward scalable low-bit embodied intelligence under strict compute, memory, and power constraints.