Quantização Plug-and-Play de Cache KV de 1.x Bits para Modelos de Linguagem de Grande Escala em Vídeo

Plug-and-Play 1.x-Bit KV Cache Quantization for Video Large Language Models

March 20, 2025

Autores: Keda Tao, Haoxuan You, Yang Sui, Can Qin, Huan Wang

cs.AI

Resumo

Modelos de linguagem de grande escala para vídeo (VideoLLMs) demonstraram a capacidade de processar entradas de vídeo mais longas e permitir raciocínio e análise complexos. No entanto, devido aos milhares de tokens visuais provenientes dos quadros de vídeo, o cache de chave-valor (KV) pode aumentar significativamente os requisitos de memória, tornando-se um gargalo para a velocidade de inferência e o uso de memória. A quantização do cache KV é uma abordagem amplamente utilizada para resolver esse problema. Neste artigo, descobrimos que a quantização de 2 bits do cache KV em VideoLLMs dificilmente prejudica o desempenho do modelo, enquanto o limite da quantização do cache KV em bits ainda mais baixos não foi investigado. Para preencher essa lacuna, introduzimos o VidKV, um método de quantização do cache KV plug-and-play para comprimir o cache KV para menos de 2 bits. Especificamente, (1) para a chave, propomos uma estratégia de quantização de precisão mista na dimensão do canal, onde realizamos quantização de 2 bits para canais anômalos e quantização de 1 bit combinada com FFT para canais normais; (2) para o valor, implementamos quantização de 1,58 bits enquanto filtramos seletivamente tokens visuais semanticamente salientes para preservação direcionada, visando um melhor equilíbrio entre precisão e desempenho do modelo. Importante, nossas descobertas sugerem que o cache de valor dos VideoLLMs deve ser quantizado de forma por canal, em vez da forma por token proposta por trabalhos anteriores de quantização do cache KV para LLMs. Empiricamente, resultados extensivos com LLaVA-OV-7B e Qwen2.5-VL-7B em seis benchmarks mostram que o VidKV comprime efetivamente o cache KV para precisões de 1,5 bit e 1,58 bit com quase nenhuma queda de desempenho em comparação com as contrapartes FP16.

English

Video large language models (VideoLLMs) have demonstrated the capability to process longer video inputs and enable complex reasoning and analysis. However, due to the thousands of visual tokens from the video frames, key-value (KV) cache can significantly increase memory requirements, becoming a bottleneck for inference speed and memory usage. KV cache quantization is a widely used approach to address this problem. In this paper, we find that 2-bit KV quantization of VideoLLMs can hardly hurt the model performance, while the limit of KV cache quantization in even lower bits has not been investigated. To bridge this gap, we introduce VidKV, a plug-and-play KV cache quantization method to compress the KV cache to lower than 2 bits. Specifically, (1) for key, we propose a mixed-precision quantization strategy in the channel dimension, where we perform 2-bit quantization for anomalous channels and 1-bit quantization combined with FFT for normal channels; (2) for value, we implement 1.58-bit quantization while selectively filtering semantically salient visual tokens for targeted preservation, for a better trade-off between precision and model performance. Importantly, our findings suggest that the value cache of VideoLLMs should be quantized in a per-channel fashion instead of the per-token fashion proposed by prior KV cache quantization works for LLMs. Empirically, extensive results with LLaVA-OV-7B and Qwen2.5-VL-7B on six benchmarks show that VidKV effectively compresses the KV cache to 1.5-bit and 1.58-bit precision with almost no performance drop compared to the FP16 counterparts.