LogQuant: Cuantización de 2 bits con distribución logarítmica de la caché KV con preservación superior de la precisión

LogQuant: Log-Distributed 2-Bit Quantization of KV Cache with Superior Accuracy Preservation

March 25, 2025

Autores: Han Chen, Zicong Jiang, Zining Zhang, Bingsheng He, Pingyi Luo, Mian Lu, Yuqiang Chen

cs.AI

Resumen

Presentamos LogQuant, una técnica innovadora de cuantización de 2 bits para la caché KV en la inferencia de modelos de lenguaje grande (LLM), que ofrece ahorros significativos de memoria mientras mantiene un rendimiento superior. Métodos anteriores asumen que los tokens posteriores son más importantes o intentan predecir tokens importantes basándose en patrones de atención previos. Sin embargo, ambos enfoques pueden resultar en cuellos de botella de rendimiento o predicciones erróneas frecuentes. LogQuant adopta un enfoque diferente. Al aplicar un mecanismo de filtrado basado en logaritmos, comprime selectivamente la caché KV en todo el contexto, logrando un mejor rendimiento con la misma o incluso menor huella de memoria en comparación con métodos existentes. En pruebas de referencia, aumenta el rendimiento en un 25% y el tamaño del lote en un 60% sin incrementar el consumo de memoria. Para tareas desafiantes como Matemáticas y Completado de Código, LogQuant mejora la precisión entre un 40% y un 200% con la misma tasa de compresión, superando a técnicas comparables. LogQuant se integra sin esfuerzo con marcos de inferencia populares como la biblioteca transformers de Python. La implementación está disponible en https://github.com/Concyclics/LogQuantKV.

English

We introduce LogQuant, a groundbreaking 2-bit quantization technique for KV Cache in large language model (LLM) inference, delivering substantial memory savings while preserving superior performance. Previous methods either assume that later tokens are more important or attempt to predict important tokens based on earlier attention patterns. Both approaches, however, can result in performance bottlenecks or frequent mispredictions. LogQuant takes a different approach. By applying a log-based filtering mechanism, it selectively compresses the KV Cache across the entire context, achieving better performance with the same or even reduced memory footprint compared to existing methods. In benchmark tests, it enhances throughput by 25% and boosts batch size by 60% without increasing memory consumption. For challenging tasks such as Math and Code Completion, LogQuant improves accuracy by 40% to 200% at the same compression ratio, outperforming comparable techniques.LogQuant integrates effortlessly with popular inference frameworks like Python's transformers library. Implementation can be available in https://github.com/Concyclics/LogQuantKV.