Sparse-LaViDa: Modelli Linguistici di Diffusione Discreta Multimodale Sparsi
Sparse-LaViDa: Sparse Multimodal Discrete Diffusion Language Models
December 16, 2025
Autori: Shufan Li, Jiuxiang Gu, Kangning Liu, Zhe Lin, Zijun Wei, Aditya Grover, Jason Kuen
cs.AI
Abstract
I Modelli di Diffusione Discreta Mascherata (MDM) hanno ottenuto prestazioni eccellenti in un'ampia gamma di attività multimodali, inclusa la comprensione, la generazione e la modifica di immagini. Tuttavia, la loro velocità di inferenza rimane non ottimale a causa della necessità di elaborare ripetutamente token mascherati ridondanti ad ogni passo di campionamento. In questo lavoro, proponiamo Sparse-LaViDa, un nuovo framework di modellazione che tronca dinamicamente i token mascherati non necessari in ogni fase di inferenza per accelerare il campionamento MDM. Per preservare la qualità della generazione, introduciamo speciali token di registro che fungono da rappresentazioni compatte per i token troncati. Inoltre, per garantire la coerenza tra l'addestramento e l'inferenza, progettiamo una maschera di attenzione specializzata che rispecchia fedelmente la procedura di campionamento troncato durante l'addestramento. Basato sullo stato dell'arte dell'MDM unificato LaViDa-O, Sparse-LaViDa raggiunge un accelerazione fino a 2x in diverse attività, tra cui la generazione di immagini da testo, la modifica di immagini e il ragionamento matematico, mantenendo al contempo la qualità della generazione.
English
Masked Discrete Diffusion Models (MDMs) have achieved strong performance across a wide range of multimodal tasks, including image understanding, generation, and editing. However, their inference speed remains suboptimal due to the need to repeatedly process redundant masked tokens at every sampling step. In this work, we propose Sparse-LaViDa, a novel modeling framework that dynamically truncates unnecessary masked tokens at each inference step to accelerate MDM sampling. To preserve generation quality, we introduce specialized register tokens that serve as compact representations for the truncated tokens. Furthermore, to ensure consistency between training and inference, we design a specialized attention mask that faithfully matches the truncated sampling procedure during training. Built upon the state-of-the-art unified MDM LaViDa-O, Sparse-LaViDa achieves up to a 2x speedup across diverse tasks including text-to-image generation, image editing, and mathematical reasoning, while maintaining generation quality.