Sparse-LaViDa: Разреженные многомодальные языковые модели с дискретной диффузией
Sparse-LaViDa: Sparse Multimodal Discrete Diffusion Language Models
December 16, 2025
Авторы: Shufan Li, Jiuxiang Gu, Kangning Liu, Zhe Lin, Zijun Wei, Aditya Grover, Jason Kuen
cs.AI
Аннотация
Маскированные дискретные диффузионные модели (MDM) демонстрируют высокую производительность в широком спекре мультимодальных задач, включая понимание, генерацию и редактирование изображений. Однако их скорость вывода остается неоптимальной из-за необходимости многократно обрабатывать избыточные маскированные токены на каждом шаге сэмплирования. В данной работе мы предлагаем Sparse-LaViDa — новую модель, которая динамически обрезает ненужные маскированные токены на каждом шаге вывода для ускорения сэмплирования в MDM. Для сохранения качества генерации мы вводим специализированные регистровые токены, которые служат компактными представлениями для обрезанных токенов. Кроме того, для обеспечения согласованности между обучением и выводом мы разрабатываем специализированную маску внимания, которая точно соответствует процедуре усеченного сэмплирования в процессе обучения. Построенная на основе передовой унифицированной MDM LaViDa-O, модель Sparse-LaViDa обеспечивает до 2-кратного ускорения в различных задачах, включая генерацию изображений по тексту, редактирование изображений и математические рассуждения, при сохранении качества генерации.
English
Masked Discrete Diffusion Models (MDMs) have achieved strong performance across a wide range of multimodal tasks, including image understanding, generation, and editing. However, their inference speed remains suboptimal due to the need to repeatedly process redundant masked tokens at every sampling step. In this work, we propose Sparse-LaViDa, a novel modeling framework that dynamically truncates unnecessary masked tokens at each inference step to accelerate MDM sampling. To preserve generation quality, we introduce specialized register tokens that serve as compact representations for the truncated tokens. Furthermore, to ensure consistency between training and inference, we design a specialized attention mask that faithfully matches the truncated sampling procedure during training. Built upon the state-of-the-art unified MDM LaViDa-O, Sparse-LaViDa achieves up to a 2x speedup across diverse tasks including text-to-image generation, image editing, and mathematical reasoning, while maintaining generation quality.