ROCKET: Snelle Optimalisatie via Kalibratiegeleide Knapzakverbeterde Truncatie voor Efficiënte Modelcompressie

ROCKET: Rapid Optimization via Calibration-guided Knapsack Enhanced Truncation for Efficient Model Compression

February 11, 2026

Auteurs: Ammar Ali, Baher Mohammad, Denis Makhov, Dmitriy Shopkhoev, Magauiya Zhussip, Stamatios Lefkimmiatis

cs.AI

Samenvatting

Wij presenteren ROCKET, een trainingsvrije methode voor modelcompressie die state-of-the-art prestaties behaalt in vergelijking met baseline-methoden voor factorisatie, gestructureerde sparsificatie en dynamische compressie. ROCKET werkt onder een globaal compressiebudget en omvat twee belangrijke innovaties: Ten eerste formuleert het de compressietoewijzing per laag als een multi-choice knapzakprobleem, waarbij het optimale compressieniveau voor elke laag wordt geselecteerd om de totale reconstructiefout te minimaliseren binnen een beoogde modelgrootte. Ten tweede introduceert het een enkelstaps sparse matrixfactorisatie, geïnspireerd op dictionary learning: met slechts een kleine calibratieset sparsificeert het de gewichtscoëfficiënten op basis van activatie-gewichtsgevoeligheid en vervolgens wordt de dictionary in gesloten vorm bijgewerkt via kleinste kwadraten, waarbij iteratieve optimalisatie, sparse coding en backpropagation volledig worden omzeild. ROCKET presteert consistent beter dan bestaande compressiebenaderingen bij verschillende modelarchitecturen en compressiepercentages van 20-50%. Opmerkelijk is dat het bij 30% compressie meer dan 90% van de prestaties van het oorspronkelijke model behoudt, zonder enige fine-tuning. Bovendien wordt het herstel aanzienlijk verbeterd wanneer een lichte fine-tuning-fase wordt toegepast: bijvoorbeeld, het comprimeren van Qwen3-14B naar een model met 8B parameters en het 'helen' met slechts 30 miljoen tokens resulteert in prestaties die bijna gelijk zijn aan de oorspronkelijke Qwen3-8B. De code voor ROCKET staat op github.com/mts-ai/ROCKET/tree/main.

English

We present ROCKET, a training-free model compression method that achieves state-of-the-art performance in comparison with factorization, structured-sparsification and dynamic compression baselines. Operating under a global compression budget, ROCKET comprises two key innovations: First, it formulates layer-wise compression allocation as a multi-choice knapsack problem, selecting the optimal compression level for each layer to minimize total reconstruction error while adhering to a target model size. Second, it introduces a single-step sparse matrix factorization inspired by dictionary learning: using only a small calibration set, it sparsifies weight coefficients based on activation-weights sensitivity and then updates the dictionary in closed form via least squares bypassing iterative optimization, sparse coding, or backpropagation entirely. ROCKET consistently outperforms existing compression approaches across different model architectures at 20-50\% compression rates. Notably, it retains over 90\% of the original model's performance at 30\% compression without any fine-tuning. Moreover, when applying a light fine-tuning phase, recovery is substantially enhanced: for instance, compressing Qwen3-14B to an 8B-parameter model and healing it with just 30 million tokens yields performance nearly on par with the original Qwen3-8B. The code for ROCKET is at github.com/mts-ai/ROCKET/tree/main.