Restauración Óptima del Cerebro para la Cuantización y Esparsificación Conjunta de Modelos de Lenguaje de Gran Escala

Optimal Brain Restoration for Joint Quantization and Sparsification of LLMs

September 14, 2025

Autores: Hang Guo, Yawei Li, Luca Benini

cs.AI

Resumen

Los recientes avances en la compresión de Modelos de Lenguaje de Gran Escala (LLM), como la cuantización y la poda, han logrado un éxito notable. Sin embargo, a medida que estas técnicas se acercan gradualmente a sus respectivos límites, confiar en un único método para una mayor compresión se ha vuelto cada vez más desafiante. En este trabajo, exploramos una solución alternativa combinando cuantización y dispersión. Este enfoque conjunto, aunque prometedor, introduce nuevas dificultades debido a los requisitos inherentemente conflictivos en las distribuciones de pesos: la cuantización favorece rangos compactos, mientras que la poda se beneficia de una alta varianza. Para abordar este problema, proponemos Optimal Brain Restoration (OBR), un marco general y sin entrenamiento que alinea la poda y la cuantización mediante la compensación de errores entre ambas. OBR minimiza la degradación del rendimiento en tareas posteriores basándose en un objetivo de segundo orden de Hessian, que luego se reformula en un problema manejable mediante aproximación sustitutiva y finalmente alcanza una solución de forma cerrada a través de la compensación de errores por grupos. Los experimentos muestran que OBR permite una cuantización agresiva W4A4KV4 con un 50% de dispersión en LLM existentes, y ofrece una aceleración de hasta 4.72x y una reducción de memoria de 6.4x en comparación con la línea base FP16-densa.

English

Recent advances in Large Language Model (LLM) compression, such as quantization and pruning, have achieved notable success. However, as these techniques gradually approach their respective limits, relying on a single method for further compression has become increasingly challenging. In this work, we explore an alternative solution by combining quantization and sparsity. This joint approach, though promising, introduces new difficulties due to the inherently conflicting requirements on weight distributions: quantization favors compact ranges, while pruning benefits from high variance. To attack this problem, we propose Optimal Brain Restoration (OBR), a general and training-free framework that aligns pruning and quantization by error compensation between both. OBR minimizes performance degradation on downstream tasks by building on a second-order Hessian objective, which is then reformulated into a tractable problem through surrogate approximation and ultimately reaches a closed-form solution via group error compensation. Experiments show that OBR enables aggressive W4A4KV4 quantization with 50% sparsity on existing LLMs, and delivers up to 4.72x speedup and 6.4x memory reduction compared to the FP16-dense baseline.