Swift-SVD: Theoretische Optimalität trifft auf praktische Effizienz bei der Niedrigrang-Kompression von großen Sprachmodellen
Swift-SVD: Theoretical Optimality Meets Practical Efficiency in Low-Rank LLM Compression
April 2, 2026
Autoren: Ruoling Qi, Yirui Liu, Xuaner Wu, Xiangyu Wang, Ming Li, Chen Chen, Jian Chen, Yin Chen, Qizhen Weng
cs.AI
Zusammenfassung
Der Einsatz von Large Language Models wird durch die Speicher- und Bandbreitenanforderungen statischer Gewichte und dynamischer Key-Value-Caches eingeschränkt. SVD-basierte Kompression bietet eine hardwarefreundliche Lösung, um diese Kosten zu reduzieren. Bestehende Methoden leiden jedoch unter zwei Hauptproblemen: Einige sind suboptimal im Hinblick auf den Rekonstruktionsfehler, während andere zwar theoretisch optimal, aber praktisch ineffizient sind. In diesem Beitrag stellen wir Swift-SVD vor, ein aktivierungsabhängiges, geschlossenes Kompressionsframework, das gleichzeitig theoretische Optimalität, praktische Effizienz und numerische Stabilität gewährleistet. Swift-SVD aggregiert schrittweise die Kovarianz der Ausgabeaktivierungen für einen Batch von Eingaben und führt nach der Aggregation eine einzige Eigenwertzerlegung durch. Dies ermöglicht eine trainingsfreie, schnelle und optimale schichtweise Low-Rank-Approximation. Wir verwenden den effektiven Rang, um die lokale schichtweise Komprimierbarkeit zu analysieren, und entwerfen eine dynamische Rangzuweisungsstrategie, die sowohl den lokalen Rekonstruktionsverlust als auch die Ende-zu-Ende-Wichtigkeit der Schicht gemeinsam berücksichtigt. Umfangreiche Experimente mit sechs LLMs und acht Datensätzen zeigen, dass Swift-SVD state-of-the-art Baseline-Methoden übertrifft, eine optimale Kompressionsgenauigkeit erreicht und dabei eine 3- bis 70-fache Beschleunigung der Ende-zu-Ende-Kompressionszeit liefert. Unser Code wird nach Annahme des Beitrags veröffentlicht.
English
The deployment of Large Language Models is constrained by the memory and bandwidth demands of static weights and dynamic Key-Value cache. SVD-based compression provides a hardware-friendly solution to reduce these costs. However, existing methods suffer from two key limitations: some are suboptimal in reconstruction error, while others are theoretically optimal but practically inefficient. In this paper, we propose Swift-SVD, an activation-aware, closed-form compression framework that simultaneously guarantees theoretical optimum, practical efficiency and numerical stability. Swift-SVD incrementally aggregates covariance of output activations given a batch of inputs and performs a single eigenvalue decomposition after aggregation, enabling training-free, fast, and optimal layer-wise low-rank approximation. We employ effective rank to analyze local layer-wise compressibility and design a dynamic rank allocation strategy that jointly accounts for local reconstruction loss and end-to-end layer importance. Extensive experiments across six LLMs and eight datasets demonstrate that Swift-SVD outperforms state-of-the-art baselines, achieving optimal compression accuracy while delivering 3-70X speedups in end-to-end compression time. Our code will be released upon acceptance.