LogQuant: Quantização de 2 Bits com Distribuição Logarítmica do Cache KV com Preservação Superior de Precisão

LogQuant: Log-Distributed 2-Bit Quantization of KV Cache with Superior Accuracy Preservation

March 25, 2025

Autores: Han Chen, Zicong Jiang, Zining Zhang, Bingsheng He, Pingyi Luo, Mian Lu, Yuqiang Chen

cs.AI

Resumo

Apresentamos o LogQuant, uma técnica inovadora de quantização de 2 bits para o Cache KV na inferência de modelos de linguagem de grande escala (LLMs), proporcionando economias significativas de memória enquanto mantém um desempenho superior. Métodos anteriores partem do pressuposto de que os tokens posteriores são mais importantes ou tentam prever tokens importantes com base em padrões de atenção anteriores. Ambas as abordagens, no entanto, podem resultar em gargalos de desempenho ou previsões incorretas frequentes. O LogQuant adota uma abordagem diferente. Ao aplicar um mecanismo de filtragem baseado em logaritmo, ele comprime seletivamente o Cache KV em todo o contexto, alcançando um desempenho melhor com a mesma ou até mesmo uma pegada de memória reduzida em comparação com métodos existentes. Em testes de benchmark, ele aumenta a taxa de transferência em 25% e amplia o tamanho do lote em 60% sem aumentar o consumo de memória. Para tarefas desafiadoras, como Matemática e Conclusão de Código, o LogQuant melhora a precisão em 40% a 200% na mesma taxa de compressão, superando técnicas comparáveis. O LogQuant integra-se facilmente com frameworks de inferência populares, como a biblioteca transformers do Python. A implementação pode ser encontrada em https://github.com/Concyclics/LogQuantKV.

English

We introduce LogQuant, a groundbreaking 2-bit quantization technique for KV Cache in large language model (LLM) inference, delivering substantial memory savings while preserving superior performance. Previous methods either assume that later tokens are more important or attempt to predict important tokens based on earlier attention patterns. Both approaches, however, can result in performance bottlenecks or frequent mispredictions. LogQuant takes a different approach. By applying a log-based filtering mechanism, it selectively compresses the KV Cache across the entire context, achieving better performance with the same or even reduced memory footprint compared to existing methods. In benchmark tests, it enhances throughput by 25% and boosts batch size by 60% without increasing memory consumption. For challenging tasks such as Math and Code Completion, LogQuant improves accuracy by 40% to 200% at the same compression ratio, outperforming comparable techniques.LogQuant integrates effortlessly with popular inference frameworks like Python's transformers library. Implementation can be available in https://github.com/Concyclics/LogQuantKV.