QuantVLA: Cuantización Post-Entrenamiento con Escala Calibrada para Modelos Visión-Lenguaje-Acción

QuantVLA: Scale-Calibrated Post-Training Quantization for Vision-Language-Action Models

February 23, 2026

Autores: Jingxuan Zhang, Yunta Hsieh, Zhongwei Wang, Haokun Lin, Xin Wang, Ziqi Wang, Yingtie Lei, Mi Zhang

cs.AI

Resumen

Los modelos visión-lenguaje-acción (VLA) unifican la percepción, el lenguaje y el control para agentes corporizados, pero enfrentan desafíos significativos en su implementación práctica debido a las crecientes demandas de cómputo y memoria, especialmente a medida que los modelos escalan a horizontes temporales más largos y backbones más grandes. Para abordar estos cuellos de botella, presentamos QuantVLA, un marco de cuantización posterior al entrenamiento (PTQ) libre de entrenamiento que, según nuestro conocimiento, es el primer enfoque PTQ para sistemas VLA y el primero en cuantizar exitosamente una cabeza de acción de transformador de difusión (DiT). QuantVLA incorpora tres componentes de escala calibrada: (1) un diseño de cuantización selectiva que convierte a enteros todas las capas lineales tanto en el backbone de lenguaje como en el DiT, manteniendo las proyecciones de atención en punto flotante para preservar el programa de operadores original; (2) ajuste de temperatura de atención, un mecanismo de escalado ligero por cabeza que estabiliza los logits de atención y se pliega en las escalas de descuantización durante la inferencia; y (3) balanceo de la cabeza de salida, una calibración de interfaz residual por capa que mitiga la deriva de energía posterior a la proyección. El marco no requiere entrenamiento adicional, utiliza solo un pequeño búfer de calibración no etiquetado y admite kernels enteros para pesos y activaciones de bajo bit, manteniendo inalterada la arquitectura. En modelos VLA representativos evaluados en LIBERO, QuantVLA supera las tasas de éxito de las líneas base de precisión completa, logra aproximadamente un 70% de ahorro relativo de memoria en los componentes cuantizados y ofrece una aceleración de 1.22x en la latencia de inferencia de extremo a extremo, proporcionando una vía práctica hacia la inteligencia corporizada de bajo bit escalable bajo estrictas restricciones de cómputo, memoria y potencia.

English

Vision-language-action (VLA) models unify perception, language, and control for embodied agents but face significant challenges in practical deployment due to rapidly increasing compute and memory demands, especially as models scale to longer horizons and larger backbones. To address these bottlenecks, we introduce QuantVLA, a training-free post-training quantization (PTQ) framework that, to our knowledge, is the first PTQ approach for VLA systems and the first to successfully quantize a diffusion transformer (DiT) action head. QuantVLA incorporates three scale-calibrated components: (1) a selective quantization layout that integerizes all linear layers in both the language backbone and the DiT while keeping attention projections in floating point to preserve the original operator schedule; (2) attention temperature matching, a lightweight per-head scaling mechanism that stabilizes attention logits and is folded into the dequantization scales at inference; and (3) output head balancing, a per-layer residual interface calibration that mitigates post-projection energy drift. The framework requires no additional training, uses only a small unlabeled calibration buffer, and supports integer kernels for low-bit weights and activations while leaving the architecture unchanged. Across representative VLA models on LIBERO, QuantVLA exceeds the task success rates of full-precision baselines, achieves about 70% relative memory savings on the quantized components, and delivers a 1.22x speedup in end-to-end inference latency, providing a practical pathway toward scalable low-bit embodied intelligence under strict compute, memory, and power constraints.