Sobre o Papel da Discontinuidade em Modelos de Linguagem de Grande Porte Baseados em Difusão
On the Role of Discreteness in Diffusion LLMs
December 27, 2025
Autores: Ziqi Jin, Bin Wang, Xiang Lin, Lidong Bing, Aixin Sun
cs.AI
Resumo
Os modelos de difusão oferecem propriedades atrativas para a geração de linguagem, como decodificação paralela e refinamento iterativo, mas a natureza discreta e altamente estruturada do texto desafia a aplicação direta dos princípios de difusão. Neste artigo, revisitamos a modelagem de linguagem por difusão sob a perspectiva do processo de difusão e da modelagem de linguagem, e delineamos cinco propriedades que separam a mecânica de difusão dos requisitos específicos da linguagem. Primeiro, categorizamos as abordagens existentes em difusão contínua no espaço de incorporação e difusão discreta sobre tokens. Em seguida, demonstramos que cada uma satisfaz apenas parte das cinco propriedades essenciais e, portanto, reflete um compromisso estrutural. Por meio de análises de modelos de linguagem por difusão recentes e de grande escala, identificamos dois problemas centrais: (i) a corrupção uniforme não respeita como a informação é distribuída entre as posições, e (ii) o treinamento marginal token a token não consegue capturar dependências multi-token durante a decodificação paralela. Essas observações motivam processos de difusão que se alinhem mais de perto com a estrutura do texto e incentivam trabalhos futuros na direção de modelos de linguagem por difusão mais coerentes.
English
Diffusion models offer appealing properties for language generation, such as parallel decoding and iterative refinement, but the discrete and highly structured nature of text challenges the direct application of diffusion principles. In this paper, we revisit diffusion language modeling from the view of diffusion process and language modeling, and outline five properties that separate diffusion mechanics from language-specific requirements. We first categorize existing approaches into continuous diffusion in embedding space and discrete diffusion over tokens. We then show that each satisfies only part of the five essential properties and therefore reflects a structural trade-off. Through analyses of recent large diffusion language models, we identify two central issues: (i) uniform corruption does not respect how information is distributed across positions, and (ii) token-wise marginal training cannot capture multi-token dependencies during parallel decoding. These observations motivate diffusion processes that align more closely with the structure of text, and encourage future work toward more coherent diffusion language models.