Llama-Mobile: VLMの効率的な2.7ビット量子化

要旨

視覚言語モデル（VLM）をモバイルデバイスに展開することは、多大なメモリと計算リソースを必要とするため困難である。我々は、リソースが制約されたハードウェア上で効率的な推論を実現するためのVLM量子化フレームワークを提案する。本手法は、モデル自身を用いてトレーニングデータを生成し、トレーニング設定へのアクセスを必要としない量子化パイプラインと、Arm CPU上での効率的な実行をサポートする新規の2.7ビット/パラメータ形式を組み合わせる。本手法を検証するため、Llama 3.2 11B Vision Instructモデルを8ビットのアクティベーションを用いて3.7 GBに圧縮し、標準的な視覚質問応答タスク群において高い性能を維持することを確認した。

English

Deploying vision-language models (VLMs) on mobile devices is challenging due to their significant memory and compute requirements. We present a framework for quantizing VLMs for efficient inference on resource-constrained hardware. Our approach combines a quantization pipeline that uses the model itself to generate training data and does not require access to the training setup, with a novel 2.7-bit-per-parameter format supporting efficient execution on Arm CPUs. We validate our approach by compressing the Llama 3.2 11B Vision Instruct model to 3.7 GB with 8-bit activations, preserving strong performance on a set of standard visual question answering tasks.