COSPADI: Komprimierung von LLMs durch kalibrierungsgesteuertes sparsames Wörterbuchlernen

COSPADI: Compressing LLMs via Calibration-Guided Sparse Dictionary Learning

September 26, 2025

papers.authors: Dmitriy Shopkhoev, Denis Makhov, Magauiya Zhussip, Ammar Ali, Stamatios Lefkimmiatis

cs.AI

papers.abstract

Die Kompression großer Sprachmodelle (LLMs) nach dem Training basiert weitgehend auf der Niedrigrang-Approximation von Gewichten, bei der jede Spalte einer Gewichtsmatrix in einem gemeinsamen niedrigdimensionalen Unterraum dargestellt wird. Obwohl dies eine recheneffiziente Strategie ist, ist die auferlegte strukturelle Einschränkung starr und kann zu einem merklichen Genauigkeitsverlust des Modells führen. In dieser Arbeit schlagen wir CoSpaDi (Compression via Sparse Dictionary Learning) vor, ein neuartiges trainingsfreies Kompressionsframework, das die Niedrigrang-Zerlegung durch eine flexiblere strukturierte spärliche Faktorisierung ersetzt, bei der jede Gewichtsmatrix mit einem dichten Wörterbuch und einer spalten-spärlichen Koeffizientenmatrix dargestellt wird. Diese Formulierung ermöglicht eine Vereinigung-von-Unterräumen-Darstellung: Verschiedene Spalten der ursprünglichen Gewichtsmatrix werden in unterschiedlichen Unterräumen approximiert, die durch adaptiv ausgewählte Wörterbuchatome aufgespannt werden, was eine größere Ausdruckskraft als eine einzige invariante Basis bietet. Entscheidend ist, dass CoSpaDi einen kleinen Kalibrierungsdatensatz nutzt, um die Faktorisierung so zu optimieren, dass die Ausgabeaktivitäten der komprimierten Projektionsschichten eng mit denen der ursprünglichen übereinstimmen, wodurch der funktionale Rekonstruktionsfehler anstelle einer bloßen Gewichtsapproximation minimiert wird. Diese datenbewusste Strategie bewahrt eine bessere Modelltreue ohne jegliche Feinabstimmung bei angemessenen Kompressionsraten. Darüber hinaus ermöglicht die resultierende strukturierte Sparsität eine effiziente spärlich-dichte Matrixmultiplikation und ist mit der Post-Training-Quantisierung für weitere Speicher- und Latenzgewinne kompatibel. Wir evaluieren CoSpaDi an mehreren Llama- und Qwen-Modellen unter Einstellungen pro Schicht und pro Gruppe bei Kompressionsraten von 20-50\% und zeigen eine durchgängige Überlegenheit gegenüber state-of-the-art datenbewussten Niedrigrang-Methoden sowohl in Bezug auf Genauigkeit als auch auf Perplexität. Unsere Ergebnisse etablieren das strukturierte spärliche Wörterbuchlernen als eine leistungsstarke Alternative zu konventionellen Niedrigrang-Ansätzen für die effiziente Bereitstellung von LLMs.

English

Post-training compression of large language models (LLMs) largely relies on low-rank weight approximation, which represents each column of a weight matrix in a shared low-dimensional subspace. While this is a computationally efficient strategy, the imposed structural constraint is rigid and can lead to a noticeable model accuracy drop. In this work, we propose CoSpaDi (Compression via Sparse Dictionary Learning), a novel training-free compression framework that replaces low-rank decomposition with a more flexible structured sparse factorization in which each weight matrix is represented with a dense dictionary and a column-sparse coefficient matrix. This formulation enables a union-of-subspaces representation: different columns of the original weight matrix are approximated in distinct subspaces spanned by adaptively selected dictionary atoms, offering greater expressiveness than a single invariant basis. Crucially, CoSpaDi leverages a small calibration dataset to optimize the factorization such that the output activations of compressed projection layers closely match those of the original ones, thereby minimizing functional reconstruction error rather than mere weight approximation. This data-aware strategy preserves better model fidelity without any fine-tuning under reasonable compression ratios. Moreover, the resulting structured sparsity allows efficient sparse-dense matrix multiplication and is compatible with post-training quantization for further memory and latency gains. We evaluate CoSpaDi across multiple Llama and Qwen models under per-layer and per-group settings at 20-50\% compression ratios, demonstrating consistent superiority over state-of-the-art data-aware low-rank methods both in accuracy and perplexity. Our results establish structured sparse dictionary learning as a powerful alternative to conventional low-rank approaches for efficient LLM deployment.