Оптимальное восстановление мозга для совместного квантования и разрежения крупных языковых моделей

Optimal Brain Restoration for Joint Quantization and Sparsification of LLMs

September 14, 2025

Авторы: Hang Guo, Yawei Li, Luca Benini

cs.AI

Аннотация

Последние достижения в области сжатия больших языковых моделей (LLM), такие как квантование и прореживание, достигли значительных успехов. Однако, по мере того как эти методы постепенно приближаются к своим пределам, дальнейшее сжатие с использованием одного метода становится всё более сложной задачей. В данной работе мы исследуем альтернативное решение, комбинируя квантование и разреженность. Этот совместный подход, хотя и перспективный, вводит новые сложности из-за изначально противоречивых требований к распределению весов: квантование предпочитает компактные диапазоны, в то время как прореживание выигрывает от высокой дисперсии. Для решения этой проблемы мы предлагаем Optimal Brain Restoration (OBR) — общий и не требующий обучения фреймворк, который согласует прореживание и квантование через компенсацию ошибок между ними. OBR минимизирует ухудшение производительности на целевых задачах, основываясь на целевой функции второго порядка (гессиан), которая затем преобразуется в решаемую задачу через суррогатную аппроксимацию и в конечном итоге приводит к замкнутому решению через групповую компенсацию ошибок. Эксперименты показывают, что OBR позволяет достичь агрессивного квантования W4A4KV4 с 50% разреженностью на существующих LLM, обеспечивая ускорение до 4.72x и сокращение памяти до 6.4x по сравнению с базовым вариантом FP16-dense.

English

Recent advances in Large Language Model (LLM) compression, such as quantization and pruning, have achieved notable success. However, as these techniques gradually approach their respective limits, relying on a single method for further compression has become increasingly challenging. In this work, we explore an alternative solution by combining quantization and sparsity. This joint approach, though promising, introduces new difficulties due to the inherently conflicting requirements on weight distributions: quantization favors compact ranges, while pruning benefits from high variance. To attack this problem, we propose Optimal Brain Restoration (OBR), a general and training-free framework that aligns pruning and quantization by error compensation between both. OBR minimizes performance degradation on downstream tasks by building on a second-order Hessian objective, which is then reformulated into a tractable problem through surrogate approximation and ultimately reaches a closed-form solution via group error compensation. Experiments show that OBR enables aggressive W4A4KV4 quantization with 50% sparsity on existing LLMs, and delivers up to 4.72x speedup and 6.4x memory reduction compared to the FP16-dense baseline.