Ottimizzazione del Ripristino Cerebrale per la Quantizzazione e la Sparsificazione Congiunta di Modelli Linguistici di Grande Dimensione

Optimal Brain Restoration for Joint Quantization and Sparsification of LLMs

September 14, 2025

Autori: Hang Guo, Yawei Li, Luca Benini

cs.AI

Abstract

I recenti progressi nella compressione dei Large Language Model (LLM), come la quantizzazione e il pruning, hanno ottenuto risultati significativi. Tuttavia, man mano che queste tecniche si avvicinano ai rispettivi limiti, affidarsi a un singolo metodo per un'ulteriore compressione è diventato sempre più impegnativo. In questo lavoro, esploriamo una soluzione alternativa combinando quantizzazione e sparsità. Questo approccio congiunto, sebbene promettente, introduce nuove difficoltà a causa dei requisiti intrinsecamente contrastanti sulle distribuzioni dei pesi: la quantizzazione favorisce intervalli compatti, mentre il pruning beneficia di un'elevata varianza. Per affrontare questo problema, proponiamo Optimal Brain Restoration (OBR), un framework generale e senza addestramento che allinea pruning e quantizzazione attraverso la compensazione degli errori tra entrambi. OBR minimizza il degrado delle prestazioni sui task downstream basandosi su un obiettivo di secondo ordine Hessiano, che viene poi riformulato in un problema trattabile attraverso un'approssimazione surrogata e infine raggiunge una soluzione in forma chiusa tramite la compensazione degli errori di gruppo. Gli esperimenti dimostrano che OBR consente una quantizzazione aggressiva W4A4KV4 con il 50% di sparsità sugli LLM esistenti, e offre un'accelerazione fino a 4,72x e una riduzione della memoria di 6,4x rispetto al baseline FP16-denso.

English

Recent advances in Large Language Model (LLM) compression, such as quantization and pruning, have achieved notable success. However, as these techniques gradually approach their respective limits, relying on a single method for further compression has become increasingly challenging. In this work, we explore an alternative solution by combining quantization and sparsity. This joint approach, though promising, introduces new difficulties due to the inherently conflicting requirements on weight distributions: quantization favors compact ranges, while pruning benefits from high variance. To attack this problem, we propose Optimal Brain Restoration (OBR), a general and training-free framework that aligns pruning and quantization by error compensation between both. OBR minimizes performance degradation on downstream tasks by building on a second-order Hessian objective, which is then reformulated into a tractable problem through surrogate approximation and ultimately reaches a closed-form solution via group error compensation. Experiments show that OBR enables aggressive W4A4KV4 quantization with 50% sparsity on existing LLMs, and delivers up to 4.72x speedup and 6.4x memory reduction compared to the FP16-dense baseline.