Optimisation de la Restauration Cérébrale pour la Quantification et la Sparsification Conjointes des LLMs

Optimal Brain Restoration for Joint Quantization and Sparsification of LLMs

September 14, 2025

papers.authors: Hang Guo, Yawei Li, Luca Benini

cs.AI

papers.abstract

Les récents progrès dans la compression des modèles de langage de grande taille (LLM), tels que la quantification et l'élagage, ont obtenu des succès notables. Cependant, à mesure que ces techniques approchent progressivement leurs limites respectives, le recours à une méthode unique pour une compression supplémentaire est devenu de plus en plus difficile. Dans ce travail, nous explorons une solution alternative en combinant quantification et parcimonie. Cette approche conjointe, bien que prometteuse, introduit de nouvelles difficultés en raison des exigences intrinsèquement conflictuelles sur les distributions de poids : la quantification favorise des plages compactes, tandis que l'élagage bénéficie d'une variance élevée. Pour résoudre ce problème, nous proposons la Restauration Optimale du Cerveau (OBR), un cadre général et sans entraînement qui aligne l'élagage et la quantification par compensation d'erreur entre les deux. OBR minimise la dégradation des performances sur les tâches en aval en s'appuyant sur un objectif de Hessien du second ordre, qui est ensuite reformulé en un problème traitable par approximation de substitution et atteint finalement une solution en forme fermée via la compensation d'erreur par groupe. Les expériences montrent qu'OBR permet une quantification agressive W4A4KV4 avec 50 % de parcimonie sur les LLM existants, et offre jusqu'à 4,72x d'accélération et 6,4x de réduction de mémoire par rapport à la base de référence FP16-dense.

English

Recent advances in Large Language Model (LLM) compression, such as quantization and pruning, have achieved notable success. However, as these techniques gradually approach their respective limits, relying on a single method for further compression has become increasingly challenging. In this work, we explore an alternative solution by combining quantization and sparsity. This joint approach, though promising, introduces new difficulties due to the inherently conflicting requirements on weight distributions: quantization favors compact ranges, while pruning benefits from high variance. To attack this problem, we propose Optimal Brain Restoration (OBR), a general and training-free framework that aligns pruning and quantization by error compensation between both. OBR minimizes performance degradation on downstream tasks by building on a second-order Hessian objective, which is then reformulated into a tractable problem through surrogate approximation and ultimately reaches a closed-form solution via group error compensation. Experiments show that OBR enables aggressive W4A4KV4 quantization with 50% sparsity on existing LLMs, and delivers up to 4.72x speedup and 6.4x memory reduction compared to the FP16-dense baseline.