Quantizzazione Plug-and-Play della Cache KV a 1.x Bit per Modelli Linguistici di Grande Dimensione su Video

Plug-and-Play 1.x-Bit KV Cache Quantization for Video Large Language Models

March 20, 2025

Autori: Keda Tao, Haoxuan You, Yang Sui, Can Qin, Huan Wang

cs.AI

Abstract

I modelli linguistici di grandi dimensioni per video (VideoLLMs) hanno dimostrato la capacità di elaborare input video più lunghi e di abilitare ragionamenti e analisi complessi. Tuttavia, a causa delle migliaia di token visivi provenienti dai fotogrammi video, la cache chiave-valore (KV) può aumentare significativamente i requisiti di memoria, diventando un collo di bottiglia per la velocità di inferenza e l'uso della memoria. La quantizzazione della cache KV è un approccio ampiamente utilizzato per affrontare questo problema. In questo articolo, scopriamo che la quantizzazione a 2 bit della cache KV nei VideoLLMs difficilmente danneggia le prestazioni del modello, mentre il limite della quantizzazione della cache KV a bit ancora più bassi non è stato investigato. Per colmare questa lacuna, introduciamo VidKV, un metodo di quantizzazione della cache KV plug-and-play per comprimere la cache KV a meno di 2 bit. Nello specifico, (1) per la chiave, proponiamo una strategia di quantizzazione a precisione mista nella dimensione del canale, dove eseguiamo una quantizzazione a 2 bit per i canali anomali e una quantizzazione a 1 bit combinata con FFT per i canali normali; (2) per il valore, implementiamo una quantizzazione a 1.58 bit mentre filtriamo selettivamente i token visivi semanticamente salienti per una conservazione mirata, al fine di ottenere un migliore compromesso tra precisione e prestazioni del modello. È importante sottolineare che i nostri risultati suggeriscono che la cache del valore nei VideoLLMs dovrebbe essere quantizzata su base per-canale invece che su base per-token, come proposto da precedenti lavori di quantizzazione della cache KV per LLMs. Empiricamente, risultati estesi con LLaVA-OV-7B e Qwen2.5-VL-7B su sei benchmark mostrano che VidKV comprime efficacemente la cache KV a precisioni di 1.5 bit e 1.58 bit con quasi nessun calo delle prestazioni rispetto alle controparti FP16.

English

Video large language models (VideoLLMs) have demonstrated the capability to process longer video inputs and enable complex reasoning and analysis. However, due to the thousands of visual tokens from the video frames, key-value (KV) cache can significantly increase memory requirements, becoming a bottleneck for inference speed and memory usage. KV cache quantization is a widely used approach to address this problem. In this paper, we find that 2-bit KV quantization of VideoLLMs can hardly hurt the model performance, while the limit of KV cache quantization in even lower bits has not been investigated. To bridge this gap, we introduce VidKV, a plug-and-play KV cache quantization method to compress the KV cache to lower than 2 bits. Specifically, (1) for key, we propose a mixed-precision quantization strategy in the channel dimension, where we perform 2-bit quantization for anomalous channels and 1-bit quantization combined with FFT for normal channels; (2) for value, we implement 1.58-bit quantization while selectively filtering semantically salient visual tokens for targeted preservation, for a better trade-off between precision and model performance. Importantly, our findings suggest that the value cache of VideoLLMs should be quantized in a per-channel fashion instead of the per-token fashion proposed by prior KV cache quantization works for LLMs. Empirically, extensive results with LLaVA-OV-7B and Qwen2.5-VL-7B on six benchmarks show that VidKV effectively compresses the KV cache to 1.5-bit and 1.58-bit precision with almost no performance drop compared to the FP16 counterparts.