Llama-Mobile: VLM의 효율적인 2.7비트 양자화

초록

모바일 기기에 비전-언어 모델(VLM)을 배포하는 것은 상당한 메모리 및 연산 요구로 인해 어려운 과제이다. 우리는 자원이 제한된 하드웨어에서 효율적인 추론을 위해 VLM을 양자화하는 프레임워크를 제시한다. 우리의 접근 방식은 모델 자체를 사용하여 학습 데이터를 생성하고 학습 구성에 대한 접근을 요구하지 않는 양자화 파이프라인과 Arm CPU에서 효율적인 실행을 지원하는 새로운 파라미터당 2.7비트 형식을 결합한다. 우리는 Llama 3.2 11B Vision Instruct 모델을 8비트 활성화와 함께 3.7GB로 압축하여 표준 시각 질의 응답 과제 집합에서 강력한 성능을 유지함으로써 우리의 접근 방식을 검증한다.

English

Deploying vision-language models (VLMs) on mobile devices is challenging due to their significant memory and compute requirements. We present a framework for quantizing VLMs for efficient inference on resource-constrained hardware. Our approach combines a quantization pipeline that uses the model itself to generate training data and does not require access to the training setup, with a novel 2.7-bit-per-parameter format supporting efficient execution on Arm CPUs. We validate our approach by compressing the Llama 3.2 11B Vision Instruct model to 3.7 GB with 8-bit activations, preserving strong performance on a set of standard visual question answering tasks.