SigmaScale: Compresión de LLM mediante descomposición de bajo rango basada en SVD y matrices de escalado aprendidas

Resumen

Presentamos SigmaScale, un método para aprender matrices de escalado auxiliares S que facilitan la compresión de Modelos de Lenguaje Grande (LLM) basada en la Descomposición en Valores Singulares (SVD) truncada. En lugar de derivar las matrices de escalado de forma analítica, SigmaScale optimiza dos conjuntos de vectores que definen transformaciones de escalado diagonales por filas y columnas bajo una pérdida de compresión consciente de las activaciones. Demostramos que el escalado aprendido reduce el rango intrínseco efectivo de las matrices de pesos, como lo reflejan las reducciones en la entropía de rango efectivo, y que esta reducción está fuertemente correlacionada con la pérdida de compresión. Los experimentos en Llama 3.1 8B Instruct y Qwen3-8B muestran que SigmaScale compite favorablemente con métodos de compresión basados en SVD estrechamente relacionados en métricas de perplejidad y evaluación zero-shot. Al emplear transformaciones aprendidas conscientes de activaciones, SigmaScale explora una ruta más flexible hacia la compresión de LLM de bajo rango, adaptándose a la estructura de los pesos individuales del modelo. La ventaja observada en tareas específicas convierte a nuestro enfoque en una opción válida para aplicaciones que requieren un costo computacional reducido en la inferencia de LLM.

English

We present SigmaScale, a method for learning auxiliary scaling matrices S to aid truncated Singular Value Decomposition (SVD) based Large Language Model (LLM) compression. Instead of deriving scaling matrices analytically, SigmaScale optimizes two sets of vectors that define diagonal row and column scaling transformations under an activation-aware compression loss. We show that learned scaling lowers the effective intrinsic rank of weight matrices, as reflected by reductions in effective-rank entropy, and that this reduction is strongly correlated with compression loss. Experiments on Llama 3.1 8B Instruct and Qwen3-8B show that SigmaScale is competitive with closely related state-of-the-art SVD-based compression methods across perplexity and zero-shot benchmarks. By using learned activation-aware transformations, SigmaScale explores a more flexible route to low-rank LLM compression by adapting to the structure of individual model weights. The advantage observed in specific tasks makes our approach a valid option for applications requiring a reduced LLM-inference computing cost.