Осознанное сокращение диффузионных языковых моделей
Sink-Aware Pruning for Diffusion Language Models
February 19, 2026
Авторы: Aidar Myrzakhan, Tianyi Li, Bowei Guo, Shengkun Tang, Zhiqiang Shen
cs.AI
Аннотация
Диффузионные языковые модели (DLM) требуют высоких вычислительных затрат на вывод из-за итеративного шумоподавления, что стимулирует разработку эффективных методов прунинга. Существующие эвристики прунинга, унаследованные от авторегрессивных (AR) больших языковых моделей, обычно сохраняют токены-«стоки внимания», поскольку в AR-моделях стоки служат стабильными глобальными якорями. Мы показываем, что это предположение не выполняется для DLM: позиция стока внимания демонстрирует значительно более высокую дисперсию на протяжении всей траектории генерации (измеряемую по тому, как доминирующие позиции стоков смещаются между временными шагами), что указывает на то, что стоки часто являются временными и менее структурно важными, чем в AR-моделях. На основе этого наблюдения мы предлагаем **прунинг с учетом стоков**, который автоматически идентифицирует и удаляет нестабильные стоки в DLM (в отличие от предыдущих исследований, обычно сохраняющих стоки для AR LLM). Без переобучения наш метод обеспечивает лучшее соотношение «качество-эффективность» и превосходит сильные базовые методы прунинга при равных вычислительных затратах. Наш код доступен по адресу https://github.com/VILA-Lab/Sink-Aware-Pruning.
English
Diffusion Language Models (DLMs) incur high inference cost due to iterative denoising, motivating efficient pruning. Existing pruning heuristics largely inherited from autoregressive (AR) LLMs, typically preserve attention sink tokens because AR sinks serve as stable global anchors. We show that this assumption does not hold for DLMs: the attention-sink position exhibits substantially higher variance over the full generation trajectory (measured by how the dominant sink locations shift across timesteps), indicating that sinks are often transient and less structurally essential than in AR models. Based on this observation, we propose {bf Sink-Aware Pruning}, which automatically identifies and prunes unstable sinks in DLMs (prior studies usually keep sinks for AR LLMs). Without retraining, our method achieves a better quality-efficiency trade-off and outperforms strong prior pruning baselines under matched compute. Our code is available at https://github.com/VILA-Lab/Sink-Aware-Pruning.