Sparse-LaViDa: Modelos de Linguagem de Difusão Discreta Multimodal Esparsa
Sparse-LaViDa: Sparse Multimodal Discrete Diffusion Language Models
December 16, 2025
Autores: Shufan Li, Jiuxiang Gu, Kangning Liu, Zhe Lin, Zijun Wei, Aditya Grover, Jason Kuen
cs.AI
Resumo
Os Modelos de Difusão Discreta Mascarada (MDMs) têm alcançado um desempenho robusto em uma ampla gama de tarefas multimodais, incluindo compreensão, geração e edição de imagens. No entanto, a sua velocidade de inferência permanece subótima devido à necessidade de processar repetidamente *tokens* mascarados redundantes em cada etapa de amostragem. Neste trabalho, propomos o Sparse-LaViDa, uma nova estrutura de modelagem que trunca dinamicamente *tokens* mascarados desnecessários em cada etapa de inferência para acelerar a amostragem do MDM. Para preservar a qualidade da geração, introduzimos *tokens* de registo especializados que funcionam como representações compactas para os *tokens* truncados. Adicionalmente, para garantir a consistência entre o treino e a inferência, concebemos uma máscara de atenção especializada que corresponde fielmente ao procedimento de amostragem truncada durante o treino. Desenvolvido com base no estado da arte do MDM unificado LaViDa-O, o Sparse-LaViDa alcança uma aceleração de até 2x em diversas tarefas, incluindo geração de texto para imagem, edição de imagem e raciocínio matemático, mantendo a qualidade da geração.
English
Masked Discrete Diffusion Models (MDMs) have achieved strong performance across a wide range of multimodal tasks, including image understanding, generation, and editing. However, their inference speed remains suboptimal due to the need to repeatedly process redundant masked tokens at every sampling step. In this work, we propose Sparse-LaViDa, a novel modeling framework that dynamically truncates unnecessary masked tokens at each inference step to accelerate MDM sampling. To preserve generation quality, we introduce specialized register tokens that serve as compact representations for the truncated tokens. Furthermore, to ensure consistency between training and inference, we design a specialized attention mask that faithfully matches the truncated sampling procedure during training. Built upon the state-of-the-art unified MDM LaViDa-O, Sparse-LaViDa achieves up to a 2x speedup across diverse tasks including text-to-image generation, image editing, and mathematical reasoning, while maintaining generation quality.