Restauração Ótima do Cérebro para Quantização e Esparsificação Conjunta de LLMs

Optimal Brain Restoration for Joint Quantization and Sparsification of LLMs

September 14, 2025

Autores: Hang Guo, Yawei Li, Luca Benini

cs.AI

Resumo

Avanços recentes na compressão de Modelos de Linguagem de Grande Escala (LLMs), como quantização e poda, alcançaram sucesso notável. No entanto, à medida que essas técnicas gradualmente se aproximam de seus respectivos limites, confiar em um único método para compressão adicional tornou-se cada vez mais desafiador. Neste trabalho, exploramos uma solução alternativa combinando quantização e esparsidade. Essa abordagem conjunta, embora promissora, introduz novas dificuldades devido aos requisitos intrinsecamente conflitantes nas distribuições de pesos: a quantização favorece intervalos compactos, enquanto a poda se beneficia de alta variância. Para atacar esse problema, propomos o Optimal Brain Restoration (OBR), um framework geral e livre de treinamento que alinha poda e quantização por meio de compensação de erros entre ambas. O OBR minimiza a degradação de desempenho em tarefas subsequentes ao se basear em um objetivo de Hessiana de segunda ordem, que é então reformulado em um problema tratável por meio de aproximação substituta e, finalmente, atinge uma solução de forma fechada via compensação de erros em grupo. Experimentos mostram que o OBR permite uma quantização agressiva W4A4KV4 com 50% de esparsidade em LLMs existentes, e oferece até 4,72x de aceleração e 6,4x de redução de memória em comparação com a linha de base FP16-densa.

English

Recent advances in Large Language Model (LLM) compression, such as quantization and pruning, have achieved notable success. However, as these techniques gradually approach their respective limits, relying on a single method for further compression has become increasingly challenging. In this work, we explore an alternative solution by combining quantization and sparsity. This joint approach, though promising, introduces new difficulties due to the inherently conflicting requirements on weight distributions: quantization favors compact ranges, while pruning benefits from high variance. To attack this problem, we propose Optimal Brain Restoration (OBR), a general and training-free framework that aligns pruning and quantization by error compensation between both. OBR minimizes performance degradation on downstream tasks by building on a second-order Hessian objective, which is then reformulated into a tractable problem through surrogate approximation and ultimately reaches a closed-form solution via group error compensation. Experiments show that OBR enables aggressive W4A4KV4 quantization with 50% sparsity on existing LLMs, and delivers up to 4.72x speedup and 6.4x memory reduction compared to the FP16-dense baseline.