Sparse-LaViDa: Modelos de Lenguaje de Difusión Discreta Multimodal Dispersa
Sparse-LaViDa: Sparse Multimodal Discrete Diffusion Language Models
December 16, 2025
Autores: Shufan Li, Jiuxiang Gu, Kangning Liu, Zhe Lin, Zijun Wei, Aditya Grover, Jason Kuen
cs.AI
Resumen
Los Modelos de Difusión Discreta Enmascarada (MDM) han logrado un rendimiento sólido en una amplia gama de tareas multimodales, incluyendo comprensión, generación y edición de imágenes. Sin embargo, su velocidad de inferencia sigue siendo subóptima debido a la necesidad de procesar repetidamente tokens enmascarados redundantes en cada paso de muestreo. En este trabajo, proponemos Sparse-LaViDa, un novedoso marco de modelado que trunca dinámicamente los tokens enmascarados innecesarios en cada paso de inferencia para acelerar el muestreo de MDM. Para preservar la calidad de la generación, introducimos tokens de registro especializados que sirven como representaciones compactas de los tokens truncados. Además, para garantizar la coherencia entre el entrenamiento y la inferencia, diseñamos una máscara de atención especializada que se ajusta fielmente al procedimiento de muestreo truncado durante el entrenamiento. Basado en el MDM unificado de última generación LaViDa-O, Sparse-LaViDa logra una aceleración de hasta 2x en diversas tareas, incluyendo generación de texto a imagen, edición de imágenes y razonamiento matemático, manteniendo la calidad de la generación.
English
Masked Discrete Diffusion Models (MDMs) have achieved strong performance across a wide range of multimodal tasks, including image understanding, generation, and editing. However, their inference speed remains suboptimal due to the need to repeatedly process redundant masked tokens at every sampling step. In this work, we propose Sparse-LaViDa, a novel modeling framework that dynamically truncates unnecessary masked tokens at each inference step to accelerate MDM sampling. To preserve generation quality, we introduce specialized register tokens that serve as compact representations for the truncated tokens. Furthermore, to ensure consistency between training and inference, we design a specialized attention mask that faithfully matches the truncated sampling procedure during training. Built upon the state-of-the-art unified MDM LaViDa-O, Sparse-LaViDa achieves up to a 2x speedup across diverse tasks including text-to-image generation, image editing, and mathematical reasoning, while maintaining generation quality.