SigmaScale: SVDベースの低ランク分解と学習されたスケーリング行列を用いたLLM圧縮

要旨

本稿では、打ち切り特異値分解（SVD）に基づく大規模言語モデル（LLM）圧縮を補助するための補助的なスケーリング行列Sを学習する手法、SigmaScaleを提案する。スケーリング行列を解析的に導出する代わりに、SigmaScaleは活性化認識圧縮損失の下で、対角行および列スケーリング変換を定義する2組のベクトルを最適化する。学習されたスケーリングが重み行列の実効的な内在階数を低下させること、それが有効階数エントロピーの低減に反映されること、そしてこの低減が圧縮損失と強く相関することを示す。Llama 3.1 8B InstructおよびQwen3-8Bでの実験により、SigmaScaleがパープレキシティおよびゼロショットベンチマークにおいて、密接に関連する最先端のSVDベース圧縮手法と競合することを示す。学習された活性化認識変換を使用することで、SigmaScaleは個々のモデル重みの構造に適応し、低ランクLLM圧縮へのより柔軟な経路を模索する。特定のタスクで観察された利点により、本手法はLLM推論の計算コスト削減が必要なアプリケーションにとって有効な選択肢となる。

English

We present SigmaScale, a method for learning auxiliary scaling matrices S to aid truncated Singular Value Decomposition (SVD) based Large Language Model (LLM) compression. Instead of deriving scaling matrices analytically, SigmaScale optimizes two sets of vectors that define diagonal row and column scaling transformations under an activation-aware compression loss. We show that learned scaling lowers the effective intrinsic rank of weight matrices, as reflected by reductions in effective-rank entropy, and that this reduction is strongly correlated with compression loss. Experiments on Llama 3.1 8B Instruct and Qwen3-8B show that SigmaScale is competitive with closely related state-of-the-art SVD-based compression methods across perplexity and zero-shot benchmarks. By using learned activation-aware transformations, SigmaScale explores a more flexible route to low-rank LLM compression by adapting to the structure of individual model weights. The advantage observed in specific tasks makes our approach a valid option for applications requiring a reduced LLM-inference computing cost.