ROCKET : Optimisation Rapide via Troncature Améliorée par Sac à Dos Guidée par Étalonnage pour une Compression Efficace de Modèles

ROCKET: Rapid Optimization via Calibration-guided Knapsack Enhanced Truncation for Efficient Model Compression

February 11, 2026

papers.authors: Ammar Ali, Baher Mohammad, Denis Makhov, Dmitriy Shopkhoev, Magauiya Zhussip, Stamatios Lefkimmiatis

cs.AI

papers.abstract

Nous présentons ROCKET, une méthode de compression de modèles ne nécessitant aucun entraînement, qui atteint des performances de pointe comparée à des méthodes de référence basées sur la factorisation, la sparsification structurée et la compression dynamique. Fonctionnant avec un budget de compression global, ROCKET repose sur deux innovations clés. Premièrement, elle formule l'allocation de la compression couche par couche comme un problème de sac à dos multi-choix, sélectionnant le niveau de compression optimal pour chaque couche afin de minimiser l'erreur de reconstruction totale tout en respectant une taille de modèle cible. Deuxièmement, elle introduit une factorisation de matrice creuse en une seule étape, inspirée par l'apprentissage de dictionnaire : en utilisant seulement un petit jeu de calibration, elle sparsifie les coefficients de pondération en fonction de la sensibilité activations-poids, puis met à jour le dictionnaire sous forme close via les moindres carrés, contournant ainsi entièrement l'optimisation itérative, le codage sparse ou la rétropropagation. ROCKET surpasse systématiquement les approches de compression existantes sur différentes architectures de modèle pour des taux de compression de 20 à 50 %. Fait notable, elle conserve plus de 90 % des performances du modèle original à 30 % de compression, sans aucun ajustement fin. De plus, l'application d'une phase d'ajustement fin léger améliore substantiellement la récupération : par exemple, compresser Qwen3-14B en un modèle de 8 milliards de paramètres et le "soigner" avec seulement 30 millions de tokens donne des performances quasi équivalentes à celles du Qwen3-8B original. Le code de ROCKET est disponible sur github.com/mts-ai/ROCKET/tree/main.

English

We present ROCKET, a training-free model compression method that achieves state-of-the-art performance in comparison with factorization, structured-sparsification and dynamic compression baselines. Operating under a global compression budget, ROCKET comprises two key innovations: First, it formulates layer-wise compression allocation as a multi-choice knapsack problem, selecting the optimal compression level for each layer to minimize total reconstruction error while adhering to a target model size. Second, it introduces a single-step sparse matrix factorization inspired by dictionary learning: using only a small calibration set, it sparsifies weight coefficients based on activation-weights sensitivity and then updates the dictionary in closed form via least squares bypassing iterative optimization, sparse coding, or backpropagation entirely. ROCKET consistently outperforms existing compression approaches across different model architectures at 20-50\% compression rates. Notably, it retains over 90\% of the original model's performance at 30\% compression without any fine-tuning. Moreover, when applying a light fine-tuning phase, recovery is substantially enhanced: for instance, compressing Qwen3-14B to an 8B-parameter model and healing it with just 30 million tokens yields performance nearly on par with the original Qwen3-8B. The code for ROCKET is at github.com/mts-ai/ROCKET/tree/main.