Poda Consciente del Hundimiento para Modelos de Lenguaje de Difusión
Sink-Aware Pruning for Diffusion Language Models
February 19, 2026
Autores: Aidar Myrzakhan, Tianyi Li, Bowei Guo, Shengkun Tang, Zhiqiang Shen
cs.AI
Resumen
Los Modelos de Lenguaje de Difusión (DLM) incurren en un alto costo de inferencia debido al desruido iterativo, lo que motiva la poda eficiente. Las heurísticas de poda existentes, heredadas en gran medida de los LLM autoregresivos (AR), suelen preservar los tokens de atención "sumidero" (attention sink), ya que los sumideros AR sirven como anclas globales estables. Demostramos que este supuesto no se cumple para los DLM: la posición del sumidero de atención exhibe una varianza sustancialmente mayor a lo largo de la trayectoria de generación completa (medida por cómo las ubicaciones dominantes del sumidero cambian entre los pasos de tiempo), lo que indica que los sumideros son a menudo transitorios y menos esenciales estructuralmente que en los modelos AR. Basándonos en esta observación, proponemos la **Poda Consciente del Sumidero (Sink-Aware Pruning)**, que identifica y poda automáticamente los sumideros inestables en los DLM (los estudios previos suelen mantener los sumideros para los LLM AR). Sin necesidad de reentrenamiento, nuestro método logra un mejor equilibrio entre calidad y eficiencia y supera a sólidos métodos de poda anteriores bajo un cómputo equivalente. Nuestro código está disponible en https://github.com/VILA-Lab/Sink-Aware-Pruning.
English
Diffusion Language Models (DLMs) incur high inference cost due to iterative denoising, motivating efficient pruning. Existing pruning heuristics largely inherited from autoregressive (AR) LLMs, typically preserve attention sink tokens because AR sinks serve as stable global anchors. We show that this assumption does not hold for DLMs: the attention-sink position exhibits substantially higher variance over the full generation trajectory (measured by how the dominant sink locations shift across timesteps), indicating that sinks are often transient and less structurally essential than in AR models. Based on this observation, we propose {bf Sink-Aware Pruning}, which automatically identifies and prunes unstable sinks in DLMs (prior studies usually keep sinks for AR LLMs). Without retraining, our method achieves a better quality-efficiency trade-off and outperforms strong prior pruning baselines under matched compute. Our code is available at https://github.com/VILA-Lab/Sink-Aware-Pruning.