Swift-SVD : L'optimalité théorique rencontre l'efficacité pratique dans la compression par bas rang des LLM

Swift-SVD: Theoretical Optimality Meets Practical Efficiency in Low-Rank LLM Compression

April 2, 2026

Auteurs: Ruoling Qi, Yirui Liu, Xuaner Wu, Xiangyu Wang, Ming Li, Chen Chen, Jian Chen, Yin Chen, Qizhen Weng

cs.AI

Résumé

Le déploiement des grands modèles de langage est limité par les exigences en mémoire et en bande passante des poids statiques et du cache clé-valeur dynamique. La compression basée sur la SVD offre une solution adaptée au matériel pour réduire ces coûts. Cependant, les méthodes existantes souffrent de deux limitations principales : certaines sont sous-optimales en termes d'erreur de reconstruction, tandis que d'autres sont théoriquement optimales mais pratiquement inefficaces. Dans cet article, nous proposons Swift-SVD, un cadre de compression activation-aware et en forme fermée qui garantit simultanément l'optimalité théorique, l'efficacité pratique et la stabilité numérique. Swift-SVD agrège de manière incrémentielle la covariance des activations de sortie pour un lot d'entrées et effectue une seule décomposition en valeurs propres après agrégation, permettant une approximation de bas rang couche par couche, optimale, rapide et sans apprentissage. Nous utilisons le rang effectif pour analyser la compressibilité locale couche par couche et concevons une stratégie d'allocation dynamique des rangs qui prend conjointement en compte la perte de reconstruction locale et l'importance couche par couche de bout en bout. Des expériences approfondies sur six LLM et huit jeux de données démontrent que Swift-SVD surpasse les méthodes de référence les plus avancées, atteignant une précision de compression optimale tout en offrant des accélérations de 3 à 70 fois du temps de compression de bout en bout. Notre code sera publié après acceptation.

English

The deployment of Large Language Models is constrained by the memory and bandwidth demands of static weights and dynamic Key-Value cache. SVD-based compression provides a hardware-friendly solution to reduce these costs. However, existing methods suffer from two key limitations: some are suboptimal in reconstruction error, while others are theoretically optimal but practically inefficient. In this paper, we propose Swift-SVD, an activation-aware, closed-form compression framework that simultaneously guarantees theoretical optimum, practical efficiency and numerical stability. Swift-SVD incrementally aggregates covariance of output activations given a batch of inputs and performs a single eigenvalue decomposition after aggregation, enabling training-free, fast, and optimal layer-wise low-rank approximation. We employ effective rank to analyze local layer-wise compressibility and design a dynamic rank allocation strategy that jointly accounts for local reconstruction loss and end-to-end layer importance. Extensive experiments across six LLMs and eight datasets demonstrate that Swift-SVD outperforms state-of-the-art baselines, achieving optimal compression accuracy while delivering 3-70X speedups in end-to-end compression time. Our code will be released upon acceptance.