COSPADI : Compression des LLM via l'apprentissage de dictionnaires épars guidé par étalonnage

COSPADI: Compressing LLMs via Calibration-Guided Sparse Dictionary Learning

September 26, 2025

papers.authors: Dmitriy Shopkhoev, Denis Makhov, Magauiya Zhussip, Ammar Ali, Stamatios Lefkimmiatis

cs.AI

papers.abstract

La compression post-entraînement des grands modèles de langage (LLMs) repose largement sur l'approximation de poids de faible rang, qui représente chaque colonne d'une matrice de poids dans un sous-espace partagé de faible dimension. Bien que cette stratégie soit efficace sur le plan computationnel, la contrainte structurelle imposée est rigide et peut entraîner une baisse notable de la précision du modèle. Dans ce travail, nous proposons CoSpaDi (Compression via Sparse Dictionary Learning), un nouveau cadre de compression sans entraînement qui remplace la décomposition de faible rang par une factorisation structurée et parcimonieuse plus flexible, dans laquelle chaque matrice de poids est représentée par un dictionnaire dense et une matrice de coefficients parcimonieuse en colonnes. Cette formulation permet une représentation en union de sous-espaces : différentes colonnes de la matrice de poids originale sont approximées dans des sous-espaces distincts engendrés par des atomes de dictionnaire sélectionnés de manière adaptative, offrant ainsi une expressivité supérieure à celle d'une base invariante unique. De manière cruciale, CoSpaDi exploite un petit ensemble de données de calibration pour optimiser la factorisation de sorte que les activations de sortie des couches de projection compressées correspondent étroitement à celles des couches originales, minimisant ainsi l'erreur de reconstruction fonctionnelle plutôt que la simple approximation des poids. Cette stratégie basée sur les données préserve une meilleure fidélité du modèle sans aucun réglage fin, sous des taux de compression raisonnables. De plus, la parcimonie structurée résultante permet une multiplication matricielle parcimonieuse-dense efficace et est compatible avec la quantification post-entraînement pour des gains supplémentaires en mémoire et en latence. Nous évaluons CoSpaDi sur plusieurs modèles Llama et Qwen dans des configurations par couche et par groupe, avec des taux de compression de 20 à 50 %, démontrant une supériorité constante par rapport aux méthodes de faible rang basées sur les données les plus avancées, tant en précision qu'en perplexité. Nos résultats établissent l'apprentissage de dictionnaire parcimonieux structuré comme une alternative puissante aux approches conventionnelles de faible rang pour un déploiement efficace des LLMs.

English

Post-training compression of large language models (LLMs) largely relies on low-rank weight approximation, which represents each column of a weight matrix in a shared low-dimensional subspace. While this is a computationally efficient strategy, the imposed structural constraint is rigid and can lead to a noticeable model accuracy drop. In this work, we propose CoSpaDi (Compression via Sparse Dictionary Learning), a novel training-free compression framework that replaces low-rank decomposition with a more flexible structured sparse factorization in which each weight matrix is represented with a dense dictionary and a column-sparse coefficient matrix. This formulation enables a union-of-subspaces representation: different columns of the original weight matrix are approximated in distinct subspaces spanned by adaptively selected dictionary atoms, offering greater expressiveness than a single invariant basis. Crucially, CoSpaDi leverages a small calibration dataset to optimize the factorization such that the output activations of compressed projection layers closely match those of the original ones, thereby minimizing functional reconstruction error rather than mere weight approximation. This data-aware strategy preserves better model fidelity without any fine-tuning under reasonable compression ratios. Moreover, the resulting structured sparsity allows efficient sparse-dense matrix multiplication and is compatible with post-training quantization for further memory and latency gains. We evaluate CoSpaDi across multiple Llama and Qwen models under per-layer and per-group settings at 20-50\% compression ratios, demonstrating consistent superiority over state-of-the-art data-aware low-rank methods both in accuracy and perplexity. Our results establish structured sparse dictionary learning as a powerful alternative to conventional low-rank approaches for efficient LLM deployment.