QuantVLA: Масштабно-калиброванное посттренировочное квантование для моделей "зрение-язык-действие"

QuantVLA: Scale-Calibrated Post-Training Quantization for Vision-Language-Action Models

February 23, 2026

Авторы: Jingxuan Zhang, Yunta Hsieh, Zhongwei Wang, Haokun Lin, Xin Wang, Ziqi Wang, Yingtie Lei, Mi Zhang

cs.AI

Аннотация

Модели «зрение-язык-действие» (VLA) объединяют восприятие, язык и управление для воплощённых агентов, но сталкиваются со значительными трудностями при практическом развёртывании из-за стремительно растущих требований к вычислительным ресурсам и памяти, особенно по мере масштабирования моделей на более длительные горизонты планирования и использования более крупных архитектур. Для преодоления этих ограничений мы представляем QuantVLA — беcпостовочный (training-free) фреймворк посттренировочной квантизации (PTQ), который, насколько нам известно, является первым подходом PTQ для систем VLA и первым, успешно квантизующим диффузионный трансформер (DiT) в качестве головы действий. QuantVLA включает три масштабно-калиброванных компонента: (1) селективную схему квантизации, которая переводит в целочисленный формат все линейные слои как в языковой модели, так и в DiT, оставляя проекции внимания в формате с плавающей запятой для сохранения исходного расписания операций; (2) согласование температуры внимания — лёгкий механизм масштабирования для каждой головы, который стабилизирует логиты внимания и объединяется с масштабами декантации на этапе вывода; и (3) балансировку выходной головы — калибровку остаточного интерфейса на каждом слое, которая смягчает дрейф энергии после проекции. Фреймворк не требует дополнительного обучения, использует лишь небольшой немаркированный буфер калибровки и поддерживает целочисленные ядра для весов и активаций низкой разрядности, не изменяя архитектуру модели. На репрезентативных моделях VLA в среде LIBERO QuantVLA превосходит показатели успешности выполнения задач полноточных базовых версий, обеспечивает примерно 70% относительной экономии памяти на квантизованных компонентах и даёт ускорение латентности end-to-end вывода в 1.22 раза, предлагая практический путь к масштабируемому воплощённому интеллекту с низкой разрядностью в условиях строгих ограничений по вычислениям, памяти и энергопотреблению.

English

Vision-language-action (VLA) models unify perception, language, and control for embodied agents but face significant challenges in practical deployment due to rapidly increasing compute and memory demands, especially as models scale to longer horizons and larger backbones. To address these bottlenecks, we introduce QuantVLA, a training-free post-training quantization (PTQ) framework that, to our knowledge, is the first PTQ approach for VLA systems and the first to successfully quantize a diffusion transformer (DiT) action head. QuantVLA incorporates three scale-calibrated components: (1) a selective quantization layout that integerizes all linear layers in both the language backbone and the DiT while keeping attention projections in floating point to preserve the original operator schedule; (2) attention temperature matching, a lightweight per-head scaling mechanism that stabilizes attention logits and is folded into the dequantization scales at inference; and (3) output head balancing, a per-layer residual interface calibration that mitigates post-projection energy drift. The framework requires no additional training, uses only a small unlabeled calibration buffer, and supports integer kernels for low-bit weights and activations while leaving the architecture unchanged. Across representative VLA models on LIBERO, QuantVLA exceeds the task success rates of full-precision baselines, achieves about 70% relative memory savings on the quantized components, and delivers a 1.22x speedup in end-to-end inference latency, providing a practical pathway toward scalable low-bit embodied intelligence under strict compute, memory, and power constraints.