ROCKET: Быстрая оптимизация с помощью управляемого калибровкой усиленного усечения методом рюкзака для эффективного сжатия моделей

ROCKET: Rapid Optimization via Calibration-guided Knapsack Enhanced Truncation for Efficient Model Compression

February 11, 2026

Авторы: Ammar Ali, Baher Mohammad, Denis Makhov, Dmitriy Shopkhoev, Magauiya Zhussip, Stamatios Lefkimmiatis

cs.AI

Аннотация

Мы представляем ROCKET — метод сжатия моделей, не требующий дообучения, который демонстрирует наилучшую производительность по сравнению с базовыми методами факторизации, структурированного разрежения и динамического сжатия. Работая в рамках глобального бюджета сжатия, ROCKET включает две ключевые инновации. Во-первых, он формулирует распределение степени сжатия по слоям как задачу о рюкзаке с множественным выбором, выбирая оптимальный уровень сжатия для каждого слоя, чтобы минимизировать общую ошибку реконструкции при соблюдении целевого размера модели. Во-вторых, он вводит одношаговую факторизацию разреженной матрицы, вдохновлённую обучением словаря: используя лишь небольшой калибровочный набор, метод разрежает весовые коэффициенты на основе чувствительности активаций и весов, а затем обновляет словарь в замкнутой форме через метод наименьших квадратов, полностью обходя итеративную оптимизацию, разрежённое кодирование или обратное распространение ошибки. ROCKET стабильно превосходит существующие подходы к сжатию для различных архитектур моделей при уровнях сжатия 20–50%. Примечательно, что он сохраняет свыше 90% производительности исходной модели при 30%-ном сжатии без какого-либо дообучения. Более того, при применении лёгкой фазы дообучения восстановление существенно улучшается: например, сжатие Qwen3-14B до модели с 8 миллиардами параметров и её "исцеление" всего на 30 миллионах токенов даёт результат, почти эквивалентный исходной Qwen3-8B. Код ROCKET доступен по адресу github.com/mts-ai/ROCKET/tree/main.

English

We present ROCKET, a training-free model compression method that achieves state-of-the-art performance in comparison with factorization, structured-sparsification and dynamic compression baselines. Operating under a global compression budget, ROCKET comprises two key innovations: First, it formulates layer-wise compression allocation as a multi-choice knapsack problem, selecting the optimal compression level for each layer to minimize total reconstruction error while adhering to a target model size. Second, it introduces a single-step sparse matrix factorization inspired by dictionary learning: using only a small calibration set, it sparsifies weight coefficients based on activation-weights sensitivity and then updates the dictionary in closed form via least squares bypassing iterative optimization, sparse coding, or backpropagation entirely. ROCKET consistently outperforms existing compression approaches across different model architectures at 20-50\% compression rates. Notably, it retains over 90\% of the original model's performance at 30\% compression without any fine-tuning. Moreover, when applying a light fine-tuning phase, recovery is substantially enhanced: for instance, compressing Qwen3-14B to an 8B-parameter model and healing it with just 30 million tokens yields performance nearly on par with the original Qwen3-8B. The code for ROCKET is at github.com/mts-ai/ROCKET/tree/main.