COSPADI：キャリブレーション誘導型スパース辞書学習による大規模言語モデルの圧縮

要旨

大規模言語モデル（LLM）の学習後圧縮は、主に低ランク重み近似に依存しており、これは重み行列の各列を共有された低次元部分空間で表現するものである。この手法は計算効率が高いが、課される構造的制約が厳格であり、モデルの精度低下を引き起こす可能性がある。本研究では、CoSpaDi（Compression via Sparse Dictionary Learning）を提案する。これは、低ランク分解をより柔軟な構造化スパース分解に置き換える、新しい学習不要の圧縮フレームワークであり、各重み行列を密な辞書と列スパース係数行列で表現する。この定式化により、元の重み行列の異なる列が適応的に選択された辞書原子によって張られる異なる部分空間で近似される「部分空間の和」表現が可能となり、単一の不変基底よりも高い表現力を提供する。重要な点として、CoSpaDiは小さなキャリブレーションデータセットを活用して分解を最適化し、圧縮された射影層の出力活性化が元のものと密接に一致するようにすることで、単なる重み近似ではなく機能的な再構成誤差を最小化する。このデータを意識した戦略により、適切な圧縮率の下でファインチューニングなしにモデルの忠実度をより良く保つことができる。さらに、結果として得られる構造化スパース性は効率的なスパース-密行列乗算を可能にし、学習後量子化と互換性があり、メモリとレイテンシのさらなる改善をもたらす。我々は、20-50%の圧縮率において、LlamaおよびQwenモデルに対して層ごとおよびグループごとの設定でCoSpaDiを評価し、最先端のデータを意識した低ランク手法に対して精度とパープレキシティの両方で一貫した優位性を示す。我々の結果は、効率的なLLM展開のための従来の低ランク手法に対する強力な代替手段として、構造化スパース辞書学習を確立するものである。

English

Post-training compression of large language models (LLMs) largely relies on low-rank weight approximation, which represents each column of a weight matrix in a shared low-dimensional subspace. While this is a computationally efficient strategy, the imposed structural constraint is rigid and can lead to a noticeable model accuracy drop. In this work, we propose CoSpaDi (Compression via Sparse Dictionary Learning), a novel training-free compression framework that replaces low-rank decomposition with a more flexible structured sparse factorization in which each weight matrix is represented with a dense dictionary and a column-sparse coefficient matrix. This formulation enables a union-of-subspaces representation: different columns of the original weight matrix are approximated in distinct subspaces spanned by adaptively selected dictionary atoms, offering greater expressiveness than a single invariant basis. Crucially, CoSpaDi leverages a small calibration dataset to optimize the factorization such that the output activations of compressed projection layers closely match those of the original ones, thereby minimizing functional reconstruction error rather than mere weight approximation. This data-aware strategy preserves better model fidelity without any fine-tuning under reasonable compression ratios. Moreover, the resulting structured sparsity allows efficient sparse-dense matrix multiplication and is compatible with post-training quantization for further memory and latency gains. We evaluate CoSpaDi across multiple Llama and Qwen models under per-layer and per-group settings at 20-50\% compression ratios, demonstrating consistent superiority over state-of-the-art data-aware low-rank methods both in accuracy and perplexity. Our results establish structured sparse dictionary learning as a powerful alternative to conventional low-rank approaches for efficient LLM deployment.

COSPADI：キャリブレーション誘導型スパース辞書学習による大規模言語モデルの圧縮

COSPADI: Compressing LLMs via Calibration-Guided Sparse Dictionary Learning

要旨

Support