Sparse-LaViDa : Modèles de langage à diffusion discrète multimodale parcimonieuse

Sparse-LaViDa: Sparse Multimodal Discrete Diffusion Language Models

December 16, 2025

papers.authors: Shufan Li, Jiuxiang Gu, Kangning Liu, Zhe Lin, Zijun Wei, Aditya Grover, Jason Kuen

cs.AI

papers.abstract

Les modèles de diffusion discrets masqués (MDM) ont obtenu des performances remarquables sur un large éventail de tâches multimodales, incluant la compréhension, la génération et l'édition d'images. Cependant, leur vitesse d'inférence reste sous-optimale en raison de la nécessité de traiter de manière répétée des jetons masqués redondants à chaque étape d'échantillonnage. Dans ce travail, nous proposons Sparse-LaViDa, un nouveau cadre de modélisation qui tronque dynamiquement les jetons masqués inutiles à chaque étape d'inférence pour accélérer l'échantillonnage des MDM. Pour préserver la qualité de génération, nous introduisons des jetons registres spécialisés qui servent de représentations compactes pour les jetons tronqués. De plus, pour garantir la cohérence entre l'entraînement et l'inférence, nous concevons un masque d'attention spécialisé qui reproduit fidèlement la procédure d'échantillonnage tronquée pendant l'entraînement. Basé sur le MDM unifié de pointe LaViDa-O, Sparse-LaViDa permet d'atteindre une accélération allant jusqu'à 2x sur diverses tâches, incluant la génération d'images à partir de texte, l'édition d'images et le raisonnement mathématique, tout en maintenant la qualité de génération.

English

Masked Discrete Diffusion Models (MDMs) have achieved strong performance across a wide range of multimodal tasks, including image understanding, generation, and editing. However, their inference speed remains suboptimal due to the need to repeatedly process redundant masked tokens at every sampling step. In this work, we propose Sparse-LaViDa, a novel modeling framework that dynamically truncates unnecessary masked tokens at each inference step to accelerate MDM sampling. To preserve generation quality, we introduce specialized register tokens that serve as compact representations for the truncated tokens. Furthermore, to ensure consistency between training and inference, we design a specialized attention mask that faithfully matches the truncated sampling procedure during training. Built upon the state-of-the-art unified MDM LaViDa-O, Sparse-LaViDa achieves up to a 2x speedup across diverse tasks including text-to-image generation, image editing, and mathematical reasoning, while maintaining generation quality.