ROCKET: Otimização Rápida via Truncamento Aprimorado por Mochila com Calibração para Compressão Eficiente de Modelos

ROCKET: Rapid Optimization via Calibration-guided Knapsack Enhanced Truncation for Efficient Model Compression

February 11, 2026

Autores: Ammar Ali, Baher Mohammad, Denis Makhov, Dmitriy Shopkhoev, Magauiya Zhussip, Stamatios Lefkimmiatis

cs.AI

Resumo

Apresentamos o ROCKET, um método de compressão de modelos sem necessidade de treinamento que atinge um desempenho de última geração em comparação com métodos base em fatoração, esparsificação estruturada e compressão dinâmica. Operando sob um orçamento global de compressão, o ROCKET compreende duas inovações principais: Primeiro, formula a alocação de compressão por camada como um problema da mochila com múltiplas escolhas, selecionando o nível ótimo de compressão para cada camada para minimizar o erro total de reconstrução, respeitando um tamanho de modelo alvo. Segundo, introduz uma fatoração de matriz esparsa em passo único, inspirada na aprendizagem de dicionários: usando apenas um pequeno conjunto de calibração, ele esparsifica os coeficientes de peso com base na sensibilidade ativação-peso e, em seguida, atualiza o dicionário de forma fechada via mínimos quadrados, contornando completamente a otimização iterativa, a codificação esparsa ou a retropropagação. O ROCKET supera consistentemente as abordagens de compressão existentes em diferentes arquiteturas de modelo em taxas de compressão de 20-50%. Notavelmente, ele retém mais de 90% do desempenho do modelo original a 30% de compressão, sem qualquer ajuste fino. Além disso, ao aplicar uma fase leve de ajuste fino, a recuperação é substancialmente melhorada: por exemplo, comprimir o Qwen3-14B para um modelo de 8B de parâmetros e recuperá-lo com apenas 30 milhões de tokens resulta num desempenho quase equivalente ao do Qwen3-8B original. O código do ROCKET está disponível em github.com/mts-ai/ROCKET/tree/main.

English

We present ROCKET, a training-free model compression method that achieves state-of-the-art performance in comparison with factorization, structured-sparsification and dynamic compression baselines. Operating under a global compression budget, ROCKET comprises two key innovations: First, it formulates layer-wise compression allocation as a multi-choice knapsack problem, selecting the optimal compression level for each layer to minimize total reconstruction error while adhering to a target model size. Second, it introduces a single-step sparse matrix factorization inspired by dictionary learning: using only a small calibration set, it sparsifies weight coefficients based on activation-weights sensitivity and then updates the dictionary in closed form via least squares bypassing iterative optimization, sparse coding, or backpropagation entirely. ROCKET consistently outperforms existing compression approaches across different model architectures at 20-50\% compression rates. Notably, it retains over 90\% of the original model's performance at 30\% compression without any fine-tuning. Moreover, when applying a light fine-tuning phase, recovery is substantially enhanced: for instance, compressing Qwen3-14B to an 8B-parameter model and healing it with just 30 million tokens yields performance nearly on par with the original Qwen3-8B. The code for ROCKET is at github.com/mts-ai/ROCKET/tree/main.