ROCKET: Rapid Optimization via Calibration-guided Knapsack Enhanced Truncation for Efficient Model Compression

papers.abstract

Wir stellen ROCKET vor, eine trainierungsfreie Modellkomprimierungsmethode, die im Vergleich zu Faktorisierungs-, strukturierten Sparsifizierungs- und dynamischen Komprimierungs-Baselines state-of-the-art Leistung erzielt. ROCKET operiert unter einem globalen Komprimierungsbudget und umfasst zwei zentrale Innovationen: Erstens formuliert es die schichtweise Komprimierungszuweisung als ein Multiple-Choice-Rucksackproblem, wobei der optimale Komprimierungsgrad für jede Schicht ausgewählt wird, um den gesamten Rekonstruktionsfehler zu minimieren und gleichzeitig eine Zielmodellgröße einzuhalten. Zweitens führt es eine Einzelschritt-Sparse-Matrix-Faktorisierung ein, die von Dictionary-Learning inspiriert ist: Unter Verwendung nur eines kleinen Kalibrierungsdatensatzes sparsifiziert es Gewichtskoeffizienten basierend auf der Aktivierungs-Gewichts-Empfindlichkeit und aktualisiert dann das Dictionary in geschlossener Form über die Methode der kleinsten Quadrate, wodurch iterative Optimierung, Sparse Coding oder Backpropagation vollständig umgangen werden. ROCKET übertrifft bestehende Komprimierungsansätze konsistent über verschiedene Modellarchitekturen hinweg bei Komprimierungsraten von 20–50 %. Bemerkenswerterweise behält es bei 30 % Komprimierung über 90 % der Leistung des Originalmodells ohne jegliche Feinabstimmung bei. Darüber hinaus wird die Wiederherstellung substantially verbessert, wenn eine leichte Feinabstimmungsphase angewendet wird: Beispielsweise erzielt das Komprimieren von Qwen3-14B auf ein 8B-Parameter-Modell und dessen "Heilung" mit nur 30 Millionen Tokens eine Leistung, die nahezu mit der des originalen Qwen3-8B vergleichbar ist. Der Code für ROCKET ist unter github.com/mts-ai/ROCKET/tree/main verfügbar.

English

We present ROCKET, a training-free model compression method that achieves state-of-the-art performance in comparison with factorization, structured-sparsification and dynamic compression baselines. Operating under a global compression budget, ROCKET comprises two key innovations: First, it formulates layer-wise compression allocation as a multi-choice knapsack problem, selecting the optimal compression level for each layer to minimize total reconstruction error while adhering to a target model size. Second, it introduces a single-step sparse matrix factorization inspired by dictionary learning: using only a small calibration set, it sparsifies weight coefficients based on activation-weights sensitivity and then updates the dictionary in closed form via least squares bypassing iterative optimization, sparse coding, or backpropagation entirely. ROCKET consistently outperforms existing compression approaches across different model architectures at 20-50\% compression rates. Notably, it retains over 90\% of the original model's performance at 30\% compression without any fine-tuning. Moreover, when applying a light fine-tuning phase, recovery is substantially enhanced: for instance, compressing Qwen3-14B to an 8B-parameter model and healing it with just 30 million tokens yields performance nearly on par with the original Qwen3-8B. The code for ROCKET is at github.com/mts-ai/ROCKET/tree/main.