COSPADI: Compressie van LLM's via kalibratie-gestuurd spars woordenboekleren

COSPADI: Compressing LLMs via Calibration-Guided Sparse Dictionary Learning

September 26, 2025

Auteurs: Dmitriy Shopkhoev, Denis Makhov, Magauiya Zhussip, Ammar Ali, Stamatios Lefkimmiatis

cs.AI

Samenvatting

Post-training compressie van grote taalmodellen (LLMs) berust grotendeels op laag-rang gewichtsbenadering, waarbij elke kolom van een gewichtsmatrix wordt gerepresenteerd in een gedeelde laagdimensionale deelruimte. Hoewel dit een computatieel efficiënte strategie is, is de opgelegde structurele beperking rigide en kan dit leiden tot een merkbare daling in modelnauwkeurigheid. In dit werk stellen we CoSpaDi (Compressie via Sparse Dictionary Learning) voor, een nieuw trainingsvrij compressiekader dat laag-rang decompositie vervangt door een flexibelere gestructureerde sparse factorisatie, waarbij elke gewichtsmatrix wordt gerepresenteerd met een dicht woordenboek en een kolom-sparse coëfficiëntenmatrix. Deze formulering maakt een unie-van-deelruimten representatie mogelijk: verschillende kolommen van de oorspronkelijke gewichtsmatrix worden benaderd in verschillende deelruimten opgespannen door adaptief geselecteerde woordenboekatomen, wat meer expressiviteit biedt dan een enkele invariante basis. Cruciaal is dat CoSpaDi een kleine calibratiedataset gebruikt om de factorisatie te optimaliseren, zodat de uitvoeractivaties van gecomprimeerde projectielagen nauw aansluiten bij die van de oorspronkelijke, waardoor de functionele reconstructiefout wordt geminimaliseerd in plaats van slechts gewichtsbenadering. Deze data-awarestategie behoudt een betere modelfideliteit zonder enige fine-tuning onder redelijke compressieverhoudingen. Bovendien maakt de resulterende gestructureerde sparsiteit efficiënte sparse-dense matrixvermenigvuldiging mogelijk en is compatibel met post-training kwantisatie voor verdere geheugen- en latentiewinsten. We evalueren CoSpaDi over meerdere Llama- en Qwen-modellen onder per-laag en per-groep instellingen bij 20-50\% compressieverhoudingen, waarbij consistent superioriteit wordt aangetoond ten opzichte van state-of-the-art data-aware laag-rang methoden, zowel in nauwkeurigheid als perplexiteit. Onze resultaten vestigen gestructureerde sparse dictionary learning als een krachtig alternatief voor conventionele laag-rang benaderingen voor efficiënte LLM-implementatie.

English

Post-training compression of large language models (LLMs) largely relies on low-rank weight approximation, which represents each column of a weight matrix in a shared low-dimensional subspace. While this is a computationally efficient strategy, the imposed structural constraint is rigid and can lead to a noticeable model accuracy drop. In this work, we propose CoSpaDi (Compression via Sparse Dictionary Learning), a novel training-free compression framework that replaces low-rank decomposition with a more flexible structured sparse factorization in which each weight matrix is represented with a dense dictionary and a column-sparse coefficient matrix. This formulation enables a union-of-subspaces representation: different columns of the original weight matrix are approximated in distinct subspaces spanned by adaptively selected dictionary atoms, offering greater expressiveness than a single invariant basis. Crucially, CoSpaDi leverages a small calibration dataset to optimize the factorization such that the output activations of compressed projection layers closely match those of the original ones, thereby minimizing functional reconstruction error rather than mere weight approximation. This data-aware strategy preserves better model fidelity without any fine-tuning under reasonable compression ratios. Moreover, the resulting structured sparsity allows efficient sparse-dense matrix multiplication and is compatible with post-training quantization for further memory and latency gains. We evaluate CoSpaDi across multiple Llama and Qwen models under per-layer and per-group settings at 20-50\% compression ratios, demonstrating consistent superiority over state-of-the-art data-aware low-rank methods both in accuracy and perplexity. Our results establish structured sparse dictionary learning as a powerful alternative to conventional low-rank approaches for efficient LLM deployment.