ROCKET: Ottimizzazione Rapida tramite Troncatura Potenziata da Zaino Guidato da Calibrazione per la Compressione Efficiente di Modelli

ROCKET: Rapid Optimization via Calibration-guided Knapsack Enhanced Truncation for Efficient Model Compression

February 11, 2026

Autori: Ammar Ali, Baher Mohammad, Denis Makhov, Dmitriy Shopkhoev, Magauiya Zhussip, Stamatios Lefkimmiatis

cs.AI

Abstract

Presentiamo ROCKET, un metodo di compressione di modelli senza fase di addestramento che raggiunge prestazioni allo stato dell'arte rispetto ai baseline di fattorizzazione, sparsificazione strutturata e compressione dinamica. Operando con un budget di compressione globale, ROCKET comprende due innovazioni chiave: in primo luogo, formula l'allocazione della compressione a livello di layer come un problema dello zaino a scelte multiple, selezionando il livello di compressione ottimale per ogni layer per minimizzare l'errore di ricostruzione totale rispettando una dimensione target del modello. In secondo luogo, introduce una fattorizzazione di matrici sparse in un singolo passo, ispirata dall'apprendimento di dizionari: utilizzando solo un piccolo set di calibrazione, sparsifica i coefficienti di peso basandosi sulla sensibilità attivazioni-pesi e poi aggiorna il dizionario in forma chiusa tramite minimi quadrati, bypassando completamente l'ottimizzazione iterativa, la codifica sparsa o la retropropagazione. ROCKET supera costantemente gli approcci di compressione esistenti su diverse architetture di modello con tassi di compressione del 20-50%. Notevolmente, mantiene oltre il 90% delle prestazioni del modello originale al 30% di compressione senza alcuna messa a punto. Inoltre, applicando una leggera fase di messa a punto, il recupero è sostanzialmente migliorato: ad esempio, comprimendo Qwen3-14B in un modello da 8 miliardi di parametri e "guarendolo" con soli 30 milioni di token si ottengono prestazioni quasi pari al Qwen3-8B originale. Il codice per ROCKET è disponibile su github.com/mts-ai/ROCKET/tree/main.

English

We present ROCKET, a training-free model compression method that achieves state-of-the-art performance in comparison with factorization, structured-sparsification and dynamic compression baselines. Operating under a global compression budget, ROCKET comprises two key innovations: First, it formulates layer-wise compression allocation as a multi-choice knapsack problem, selecting the optimal compression level for each layer to minimize total reconstruction error while adhering to a target model size. Second, it introduces a single-step sparse matrix factorization inspired by dictionary learning: using only a small calibration set, it sparsifies weight coefficients based on activation-weights sensitivity and then updates the dictionary in closed form via least squares bypassing iterative optimization, sparse coding, or backpropagation entirely. ROCKET consistently outperforms existing compression approaches across different model architectures at 20-50\% compression rates. Notably, it retains over 90\% of the original model's performance at 30\% compression without any fine-tuning. Moreover, when applying a light fine-tuning phase, recovery is substantially enhanced: for instance, compressing Qwen3-14B to an 8B-parameter model and healing it with just 30 million tokens yields performance nearly on par with the original Qwen3-8B. The code for ROCKET is at github.com/mts-ai/ROCKET/tree/main.