COSPADI: Compressione di LLM tramite Apprendimento di Dizionari Sparse Guidato da Calibrazione

COSPADI: Compressing LLMs via Calibration-Guided Sparse Dictionary Learning

September 26, 2025

Autori: Dmitriy Shopkhoev, Denis Makhov, Magauiya Zhussip, Ammar Ali, Stamatios Lefkimmiatis

cs.AI

Abstract

La compressione post-addestramento di modelli linguistici di grandi dimensioni (LLM) si basa principalmente sull'approssimazione a basso rango dei pesi, che rappresenta ciascuna colonna di una matrice dei pesi in un sottospazio condiviso a bassa dimensionalità. Sebbene si tratti di una strategia computazionalmente efficiente, il vincolo strutturale imposto è rigido e può portare a una significativa riduzione dell'accuratezza del modello. In questo lavoro, proponiamo CoSpaDi (Compression via Sparse Dictionary Learning), un nuovo framework di compressione senza addestramento che sostituisce la decomposizione a basso rango con una fattorizzazione strutturata sparsa più flessibile, in cui ciascuna matrice dei pesi è rappresentata con un dizionario denso e una matrice dei coefficienti sparsa per colonne. Questa formulazione consente una rappresentazione a unione di sottospazi: diverse colonne della matrice dei pesi originale sono approssimate in sottospazi distinti generati da atomi del dizionario selezionati in modo adattivo, offrendo una maggiore espressività rispetto a una singola base invariante. Fondamentalmente, CoSpaDi sfrutta un piccolo dataset di calibrazione per ottimizzare la fattorizzazione in modo che le attivazioni in uscita degli strati di proiezione compressi corrispondano strettamente a quelle degli originali, minimizzando così l'errore di ricostruzione funzionale piuttosto che la semplice approssimazione dei pesi. Questa strategia consapevole dei dati preserva una migliore fedeltà del modello senza alcun fine-tuning, con rapporti di compressione ragionevoli. Inoltre, la sparsità strutturata risultante consente una moltiplicazione matrice sparsa-densa efficiente ed è compatibile con la quantizzazione post-addestramento per ulteriori guadagni in termini di memoria e latenza. Valutiamo CoSpaDi su diversi modelli Llama e Qwen in contesti per strato e per gruppo con rapporti di compressione del 20-50%, dimostrando una superiorità costante rispetto ai metodi a basso rango all'avanguardia consapevoli dei dati, sia in termini di accuratezza che di perplessità. I nostri risultati stabiliscono l'apprendimento strutturato di dizionari sparsi come una potente alternativa agli approcci convenzionali a basso rango per il dispiegamento efficiente di LLM.

English

Post-training compression of large language models (LLMs) largely relies on low-rank weight approximation, which represents each column of a weight matrix in a shared low-dimensional subspace. While this is a computationally efficient strategy, the imposed structural constraint is rigid and can lead to a noticeable model accuracy drop. In this work, we propose CoSpaDi (Compression via Sparse Dictionary Learning), a novel training-free compression framework that replaces low-rank decomposition with a more flexible structured sparse factorization in which each weight matrix is represented with a dense dictionary and a column-sparse coefficient matrix. This formulation enables a union-of-subspaces representation: different columns of the original weight matrix are approximated in distinct subspaces spanned by adaptively selected dictionary atoms, offering greater expressiveness than a single invariant basis. Crucially, CoSpaDi leverages a small calibration dataset to optimize the factorization such that the output activations of compressed projection layers closely match those of the original ones, thereby minimizing functional reconstruction error rather than mere weight approximation. This data-aware strategy preserves better model fidelity without any fine-tuning under reasonable compression ratios. Moreover, the resulting structured sparsity allows efficient sparse-dense matrix multiplication and is compatible with post-training quantization for further memory and latency gains. We evaluate CoSpaDi across multiple Llama and Qwen models under per-layer and per-group settings at 20-50\% compression ratios, demonstrating consistent superiority over state-of-the-art data-aware low-rank methods both in accuracy and perplexity. Our results establish structured sparse dictionary learning as a powerful alternative to conventional low-rank approaches for efficient LLM deployment.