COSPADI: Compressão de LLMs por meio de Aprendizado de Dicionário Esparso Guiado por Calibração

COSPADI: Compressing LLMs via Calibration-Guided Sparse Dictionary Learning

September 26, 2025

Autores: Dmitriy Shopkhoev, Denis Makhov, Magauiya Zhussip, Ammar Ali, Stamatios Lefkimmiatis

cs.AI

Resumo

A compressão pós-treinamento de modelos de linguagem de grande escala (LLMs) depende amplamente da aproximação de pesos de baixo posto, que representa cada coluna de uma matriz de pesos em um subespaço compartilhado de baixa dimensão. Embora essa seja uma estratégia computacionalmente eficiente, a restrição estrutural imposta é rígida e pode levar a uma queda perceptível na precisão do modelo. Neste trabalho, propomos o CoSpaDi (Compressão via Aprendizado de Dicionário Esparso), uma nova estrutura de compressão sem treinamento que substitui a decomposição de baixo posto por uma fatoração esparsa estruturada mais flexível, na qual cada matriz de pesos é representada com um dicionário denso e uma matriz de coeficientes esparsa por colunas. Essa formulação permite uma representação de união de subespaços: diferentes colunas da matriz de pesos original são aproximadas em subespaços distintos, abrangidos por átomos de dicionário selecionados de forma adaptativa, oferecendo maior expressividade do que uma única base invariante. Crucialmente, o CoSpaDi aproveita um pequeno conjunto de dados de calibração para otimizar a fatoração, de modo que as ativações de saída das camadas de projeção comprimidas correspondam de perto às das originais, minimizando assim o erro de reconstrução funcional em vez de apenas a aproximação de pesos. Essa estratégia consciente dos dados preserva melhor a fidelidade do modelo sem qualquer ajuste fino sob taxas de compressão razoáveis. Além disso, a esparsidade estruturada resultante permite uma multiplicação eficiente de matrizes esparsas-densas e é compatível com a quantização pós-treinamento para ganhos adicionais de memória e latência. Avaliamos o CoSpaDi em vários modelos Llama e Qwen sob configurações por camada e por grupo em taxas de compressão de 20-50%, demonstrando superioridade consistente em relação aos métodos de baixo posto conscientes dos dados mais avançados, tanto em precisão quanto em perplexidade. Nossos resultados estabelecem o aprendizado de dicionário esparso estruturado como uma alternativa poderosa às abordagens convencionais de baixo posto para a implantação eficiente de LLMs.

English

Post-training compression of large language models (LLMs) largely relies on low-rank weight approximation, which represents each column of a weight matrix in a shared low-dimensional subspace. While this is a computationally efficient strategy, the imposed structural constraint is rigid and can lead to a noticeable model accuracy drop. In this work, we propose CoSpaDi (Compression via Sparse Dictionary Learning), a novel training-free compression framework that replaces low-rank decomposition with a more flexible structured sparse factorization in which each weight matrix is represented with a dense dictionary and a column-sparse coefficient matrix. This formulation enables a union-of-subspaces representation: different columns of the original weight matrix are approximated in distinct subspaces spanned by adaptively selected dictionary atoms, offering greater expressiveness than a single invariant basis. Crucially, CoSpaDi leverages a small calibration dataset to optimize the factorization such that the output activations of compressed projection layers closely match those of the original ones, thereby minimizing functional reconstruction error rather than mere weight approximation. This data-aware strategy preserves better model fidelity without any fine-tuning under reasonable compression ratios. Moreover, the resulting structured sparsity allows efficient sparse-dense matrix multiplication and is compatible with post-training quantization for further memory and latency gains. We evaluate CoSpaDi across multiple Llama and Qwen models under per-layer and per-group settings at 20-50\% compression ratios, demonstrating consistent superiority over state-of-the-art data-aware low-rank methods both in accuracy and perplexity. Our results establish structured sparse dictionary learning as a powerful alternative to conventional low-rank approaches for efficient LLM deployment.