70% Grootte, 100% Nauwkeurigheid: Verliesvrije LLM-compressie voor efficiënte GPU-inferentie via dynamische-lengte float

70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic-Length Float

April 15, 2025

Auteurs: Tianyi Zhang, Yang Sui, Shaochen Zhong, Vipin Chaudhary, Xia Hu, Anshumali Shrivastava

cs.AI

Samenvatting

Large Language Models (LLMs) zijn snel in omvang gegroeid, wat aanzienlijke uitdagingen creëert voor efficiënte implementatie op hardware met beperkte resources. In dit artikel introduceren we Dynamic-Length Float (DFloat11), een verliesvrij compressie framework dat de grootte van LLM's met 30% reduceert terwijl outputs worden behouden die bit-voor-bit identiek zijn aan het originele model. DFloat11 is gemotiveerd door de lage entropie in de BFloat16 gewichtsrepresentatie van LLM's, wat significante inefficiëntie in bestaande opslagformaten blootlegt. Door entropiecodering toe te passen, wijst DFloat11 dynamische-lengte coderingen toe aan gewichten op basis van frequentie, waardoor bijna informatie-optimale compressie wordt bereikt zonder enig verlies van precisie. Om efficiënte inferentie met dynamische-lengte coderingen mogelijk te maken, ontwikkelen we een aangepaste GPU kernel voor snelle online decompressie. Ons ontwerp omvat het volgende: (i) decompositie van geheugenintensieve lookup-tabellen (LUTs) in compacte LUTs die passen in GPU SRAM, (ii) een tweefasen kernel voor het coördineren van thread lees/schrijf posities met behulp van lichtgewicht hulpvariabelen, en (iii) transformer-block-level decompressie om latentie te minimaliseren. Experimenten op recente modellen, waaronder Llama-3.1, Qwen-2.5 en Gemma-3, valideren onze hypothese dat DFloat11 een modelgrootte reductie van ongeveer 30% bereikt terwijl bit-voor-bit exacte outputs worden behouden. Vergeleken met een potentieel alternatief waarbij delen van een ongecomprimeerd model naar de CPU worden verplaatst om aan geheugenbeperkingen te voldoen, bereikt DFloat11 een 1.9-38.8x hogere doorvoer in token generatie. Met een vast GPU geheugenbudget maakt DFloat11 5.3-13.17x langere contextlengtes mogelijk dan ongecomprimeerde modellen. Opmerkelijk is dat onze methode verliesvrije inferentie van Llama-3.1-405B, een 810GB model, mogelijk maakt op een enkele node uitgerust met 8x80GB GPU's. Onze code en modellen zijn beschikbaar op https://github.com/LeanModels/DFloat11.

English

Large Language Models (LLMs) have grown rapidly in size, creating significant challenges for efficient deployment on resource-constrained hardware. In this paper, we introduce Dynamic-Length Float (DFloat11), a lossless compression framework that reduces LLM size by 30% while preserving outputs that are bit-for-bit identical to the original model. DFloat11 is motivated by the low entropy in the BFloat16 weight representation of LLMs, which reveals significant inefficiency in existing storage format. By applying entropy coding, DFloat11 assigns dynamic-length encodings to weights based on frequency, achieving near information-optimal compression without any loss of precision. To facilitate efficient inference with dynamic-length encodings, we develop a custom GPU kernel for fast online decompression. Our design incorporates the following: (i) decomposition of memory-intensive lookup tables (LUTs) into compact LUTs that fit in GPU SRAM, (ii) a two-phase kernel for coordinating thread read/write positions using lightweight auxiliary variables, and (iii) transformer-block-level decompression to minimize latency. Experiments on recent models, including Llama-3.1, Qwen-2.5, and Gemma-3, validates our hypothesis that DFloat11 achieves around 30% model size reduction while preserving bit-for-bit exact outputs. Compared to a potential alternative of offloading parts of an uncompressed model to the CPU to meet memory constraints, DFloat11 achieves 1.9-38.8x higher throughput in token generation. With a fixed GPU memory budget, DFloat11 enables 5.3-13.17x longer context lengths than uncompressed models. Notably, our method enables lossless inference of Llama-3.1-405B, an 810GB model, on a single node equipped with 8x80GB GPUs. Our code and models are available at https://github.com/LeanModels/DFloat11.