QuantVLA: 시각-언어-행동 모델을 위한 스케일 보정 사후 양자화

초록

비전-언어-행동(VLA) 모델은 구현형 에이전트를 위한 인식, 언어, 제어를 통합하지만, 특히 모델이 더 긴 시간 범위와 더 큰 백본으로 확장됨에 따라 계산 및 메모리 요구량이 급격히 증가하여 실제 배포에 상당한 어려움을 겪고 있습니다. 이러한 병목 현상을 해결하기 위해 우리는 QuantVLA를 소개합니다. 이는 훈련이 필요 없는 사후 훈련 양자화(PTQ) 프레임워크로, 우리가 알기로는 VLA 시스템을 위한 최초의 PTQ 접근법이자 확산 트랜스포머(DiT) 행동 헤드의 양자화에 성공한 최초의 방법입니다. QuantVLA는 세 가지 척도 보정 구성 요소를 포함합니다: (1) 언어 백본과 DiT 모두의 모든 선형 계층을 정수화하면서 원래 연산자 스케줄을 보존하기 위해 어텐션 프로젝션은 부동 소수점으로 유지하는 선택적 양자화 레이아웃; (2) 어텐션 로짓을 안정화하고 추론 시 역양자화 척도에 통합되는 경량의 헤드별 스케일링 메커니즘인 어텐션 온도 매칭; (3) 투영 후 에너지 드리프트를 완화하는 계층별 잔차 인터페이스 보정인 출력 헤드 균형 조정. 이 프레임워크는 추가 훈련이 필요 없으며, 소량의 레이블 없는 보정 버퍼만 사용하고, 아키텍처는 변경하지 않은 채 낮은 비트의 가중치와 활성화를 위한 정수 커널을 지원합니다. LIBERO의 대표적인 VLA 모델들에 대해 QuantVLA는 전체 정밀도 기준선의 작업 성공률을 능가하고, 양자화된 구성 요소에서 약 70%의 상대적 메모리 절감을 달성하며, 종단 간 추론 대기 시간에서 1.22배의 속도 향상을 제공하여 엄격한 계산, 메모리, 전력 제약 조건 하에서 확장 가능한 저비트 구현형 인텔리전스로 가는 실용적인 경로를 제시합니다.

English

Vision-language-action (VLA) models unify perception, language, and control for embodied agents but face significant challenges in practical deployment due to rapidly increasing compute and memory demands, especially as models scale to longer horizons and larger backbones. To address these bottlenecks, we introduce QuantVLA, a training-free post-training quantization (PTQ) framework that, to our knowledge, is the first PTQ approach for VLA systems and the first to successfully quantize a diffusion transformer (DiT) action head. QuantVLA incorporates three scale-calibrated components: (1) a selective quantization layout that integerizes all linear layers in both the language backbone and the DiT while keeping attention projections in floating point to preserve the original operator schedule; (2) attention temperature matching, a lightweight per-head scaling mechanism that stabilizes attention logits and is folded into the dequantization scales at inference; and (3) output head balancing, a per-layer residual interface calibration that mitigates post-projection energy drift. The framework requires no additional training, uses only a small unlabeled calibration buffer, and supports integer kernels for low-bit weights and activations while leaving the architecture unchanged. Across representative VLA models on LIBERO, QuantVLA exceeds the task success rates of full-precision baselines, achieves about 70% relative memory savings on the quantized components, and delivers a 1.22x speedup in end-to-end inference latency, providing a practical pathway toward scalable low-bit embodied intelligence under strict compute, memory, and power constraints.

QuantVLA: 시각-언어-행동 모델을 위한 스케일 보정 사후 양자화

QuantVLA: Scale-Calibrated Post-Training Quantization for Vision-Language-Action Models

초록

Support