SigmaScale: Сжатие LLM с помощью SVD-основанного низкорангового разложения и обученных матриц масштабирования

Аннотация

Мы представляем SigmaScale — метод обучения вспомогательных масштабирующих матриц S, предназначенный для сжатия больших языковых моделей (LLM) на основе усеченного сингулярного разложения (SVD). В отличие от аналитического вывода масштабирующих матриц, SigmaScale оптимизирует два набора векторов, задающих диагональные преобразования масштабирования строк и столбцов, под управлением функции потерь сжатия, учитывающей активации. Мы показываем, что обученное масштабирование снижает эффективный внутренний ранг весовых матриц, что отражается в уменьшении энтропии эффективного ранга, и что это снижение сильно коррелирует с потерями при сжатии. Эксперименты на Llama 3.1 8B Instruct и Qwen3-8B демонстрируют, что SigmaScale конкурентоспособен с близкими современными методами сжатия на основе SVD по показателям перплексии и бенчмаркам zero-shot. Используя обученные преобразования с учетом активаций, SigmaScale предлагает более гибкий путь к низкоранговому сжатию LLM, адаптируясь к структуре отдельных весов модели. Наблюдаемое преимущество в конкретных задачах делает наш подход допустимым вариантом для приложений, требующих снижения вычислительных затрат на инференс LLM.

English

We present SigmaScale, a method for learning auxiliary scaling matrices S to aid truncated Singular Value Decomposition (SVD) based Large Language Model (LLM) compression. Instead of deriving scaling matrices analytically, SigmaScale optimizes two sets of vectors that define diagonal row and column scaling transformations under an activation-aware compression loss. We show that learned scaling lowers the effective intrinsic rank of weight matrices, as reflected by reductions in effective-rank entropy, and that this reduction is strongly correlated with compression loss. Experiments on Llama 3.1 8B Instruct and Qwen3-8B show that SigmaScale is competitive with closely related state-of-the-art SVD-based compression methods across perplexity and zero-shot benchmarks. By using learned activation-aware transformations, SigmaScale explores a more flexible route to low-rank LLM compression by adapting to the structure of individual model weights. The advantage observed in specific tasks makes our approach a valid option for applications requiring a reduced LLM-inference computing cost.