70% do Tamanho, 100% de Precisão: Compressão Sem Perdas de LLM para Inferência Eficiente em GPU via Float de Comprimento Dinâmico

70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic-Length Float

April 15, 2025

Autores: Tianyi Zhang, Yang Sui, Shaochen Zhong, Vipin Chaudhary, Xia Hu, Anshumali Shrivastava

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) têm crescido rapidamente em tamanho, criando desafios significativos para a implantação eficiente em hardware com recursos limitados. Neste artigo, apresentamos o Dynamic-Length Float (DFloat11), uma estrutura de compressão sem perdas que reduz o tamanho dos LLMs em 30% enquanto preserva saídas que são idênticas bit a bit ao modelo original. O DFloat11 é motivado pela baixa entropia na representação de pesos BFloat16 dos LLMs, que revela uma ineficiência significativa no formato de armazenamento existente. Ao aplicar codificação de entropia, o DFloat11 atribui codificações de comprimento dinâmico aos pesos com base na frequência, alcançando compressão quase ótima em termos de informação sem qualquer perda de precisão. Para facilitar a inferência eficiente com codificações de comprimento dinâmico, desenvolvemos um kernel GPU personalizado para descompressão rápida online. Nosso design incorpora o seguinte: (i) decomposição de tabelas de consulta (LUTs) intensivas em memória em LUTs compactas que cabem na SRAM da GPU, (ii) um kernel de duas fases para coordenar as posições de leitura/escrita de threads usando variáveis auxiliares leves, e (iii) descompressão no nível de bloco de transformador para minimizar a latência. Experimentos em modelos recentes, incluindo Llama-3.1, Qwen-2.5 e Gemma-3, validam nossa hipótese de que o DFloat11 alcança uma redução de cerca de 30% no tamanho do modelo enquanto preserva saídas exatas bit a bit. Em comparação com uma alternativa potencial de descarregar partes de um modelo não comprimido para a CPU para atender às restrições de memória, o DFloat11 alcança uma taxa de transferência 1,9-38,8x maior na geração de tokens. Com um orçamento fixo de memória GPU, o DFloat11 permite comprimentos de contexto 5,3-13,17x maiores do que modelos não comprimidos. Notavelmente, nosso método permite inferência sem perdas do Llama-3.1-405B, um modelo de 810GB, em um único nó equipado com 8 GPUs de 80GB. Nosso código e modelos estão disponíveis em https://github.com/LeanModels/DFloat11.

English

Large Language Models (LLMs) have grown rapidly in size, creating significant challenges for efficient deployment on resource-constrained hardware. In this paper, we introduce Dynamic-Length Float (DFloat11), a lossless compression framework that reduces LLM size by 30% while preserving outputs that are bit-for-bit identical to the original model. DFloat11 is motivated by the low entropy in the BFloat16 weight representation of LLMs, which reveals significant inefficiency in existing storage format. By applying entropy coding, DFloat11 assigns dynamic-length encodings to weights based on frequency, achieving near information-optimal compression without any loss of precision. To facilitate efficient inference with dynamic-length encodings, we develop a custom GPU kernel for fast online decompression. Our design incorporates the following: (i) decomposition of memory-intensive lookup tables (LUTs) into compact LUTs that fit in GPU SRAM, (ii) a two-phase kernel for coordinating thread read/write positions using lightweight auxiliary variables, and (iii) transformer-block-level decompression to minimize latency. Experiments on recent models, including Llama-3.1, Qwen-2.5, and Gemma-3, validates our hypothesis that DFloat11 achieves around 30% model size reduction while preserving bit-for-bit exact outputs. Compared to a potential alternative of offloading parts of an uncompressed model to the CPU to meet memory constraints, DFloat11 achieves 1.9-38.8x higher throughput in token generation. With a fixed GPU memory budget, DFloat11 enables 5.3-13.17x longer context lengths than uncompressed models. Notably, our method enables lossless inference of Llama-3.1-405B, an 810GB model, on a single node equipped with 8x80GB GPUs. Our code and models are available at https://github.com/LeanModels/DFloat11.