COSPADI: Сжатие больших языковых моделей через калибровочно-ориентированное разреженное словарное обучение

COSPADI: Compressing LLMs via Calibration-Guided Sparse Dictionary Learning

September 26, 2025

Авторы: Dmitriy Shopkhoev, Denis Makhov, Magauiya Zhussip, Ammar Ali, Stamatios Lefkimmiatis

cs.AI

Аннотация

Посттренировочное сжатие больших языковых моделей (LLM) в значительной степени опирается на низкоранговую аппроксимацию весов, которая представляет каждый столбец матрицы весов в общем низкоразмерном подпространстве. Хотя это вычислительно эффективная стратегия, накладываемое структурное ограничение является жестким и может привести к заметному снижению точности модели. В данной работе мы предлагаем CoSpaDi (Compression via Sparse Dictionary Learning) — новый фреймворк для сжатия без дополнительного обучения, который заменяет низкоранговое разложение на более гибкую структурированную разреженную факторизацию, где каждая матрица весов представляется с использованием плотного словаря и столбцово-разреженной матрицы коэффициентов. Такая формулировка позволяет реализовать представление в виде объединения подпространств: различные столбцы исходной матрицы весов аппроксимируются в различных подпространствах, порожденных адаптивно выбранными атомами словаря, что обеспечивает большую выразительность по сравнению с использованием единого неизменного базиса. Важно, что CoSpaDi использует небольшой калибровочный набор данных для оптимизации факторизации таким образом, чтобы выходные активации сжатых проекционных слоев максимально соответствовали активациям исходных слоев, тем самым минимизируя ошибку функциональной реконструкции, а не просто аппроксимацию весов. Эта стратегия, учитывающая данные, позволяет сохранить высокую точность модели без дополнительной тонкой настройки при разумных коэффициентах сжатия. Более того, полученная структурированная разреженность позволяет эффективно выполнять умножение разреженных и плотных матриц и совместима с посттренировочной квантизацией для дальнейшего снижения требований к памяти и задержкам. Мы оцениваем CoSpaDi на нескольких моделях Llama и Qwen в условиях сжатия на уровне слоев и групп при коэффициентах сжатия 20-50%, демонстрируя стабильное превосходство над современными методами низкорангового сжатия, учитывающими данные, как по точности, так и по перплексии. Наши результаты подтверждают, что структурированное разреженное обучение словаря является мощной альтернативой традиционным низкоранговым подходам для эффективного развертывания LLM.

English

Post-training compression of large language models (LLMs) largely relies on low-rank weight approximation, which represents each column of a weight matrix in a shared low-dimensional subspace. While this is a computationally efficient strategy, the imposed structural constraint is rigid and can lead to a noticeable model accuracy drop. In this work, we propose CoSpaDi (Compression via Sparse Dictionary Learning), a novel training-free compression framework that replaces low-rank decomposition with a more flexible structured sparse factorization in which each weight matrix is represented with a dense dictionary and a column-sparse coefficient matrix. This formulation enables a union-of-subspaces representation: different columns of the original weight matrix are approximated in distinct subspaces spanned by adaptively selected dictionary atoms, offering greater expressiveness than a single invariant basis. Crucially, CoSpaDi leverages a small calibration dataset to optimize the factorization such that the output activations of compressed projection layers closely match those of the original ones, thereby minimizing functional reconstruction error rather than mere weight approximation. This data-aware strategy preserves better model fidelity without any fine-tuning under reasonable compression ratios. Moreover, the resulting structured sparsity allows efficient sparse-dense matrix multiplication and is compatible with post-training quantization for further memory and latency gains. We evaluate CoSpaDi across multiple Llama and Qwen models under per-layer and per-group settings at 20-50\% compression ratios, demonstrating consistent superiority over state-of-the-art data-aware low-rank methods both in accuracy and perplexity. Our results establish structured sparse dictionary learning as a powerful alternative to conventional low-rank approaches for efficient LLM deployment.