LangFlow: A Difusão Contínua Rivaliza com a Discreta na Modelagem de Linguagem
LangFlow: Continuous Diffusion Rivals Discrete in Language Modeling
April 15, 2026
Autores: Yuxin Chen, Chumeng Liang, Hangke Sui, Ruihan Guo, Chaoran Cheng, Jiaxuan You, Ge Liu
cs.AI
Resumo
A difusão contínua tem sido a base para a geração de alta fidelidade, controlável e com poucos passos de muitas modalidades de dados, como imagens. No entanto, na modelagem de linguagem, os modelos de linguagem por difusão contínua (DLMs) anteriores ficam atrás de suas contrapartes discretas devido ao espaço de dados esparso e ao espaço de design pouco explorado. Neste trabalho, fechamos essa lacuna com o LangFlow, o primeiro DLM contínuo a rivalizar com a difusão discreta, conectando DLMs no espaço de incorporação ao Flow Matching via divergência de Bregman, juntamente com três inovações principais: (1) derivamos um novo limite de NLL baseado em EDOs para avaliação fundamentada de modelos de linguagem contínuos baseados em fluxo; (2) propomos um princípio de informação uniforme para definir o cronograma de ruído, que motiva um agendador de ruído treinável baseado em uma distribuição Gumbel; e (3) revisamos os protocolos de treinamento anteriores incorporando o auto-condicionamento, pois descobrimos que ele melhora tanto a verossimilhança quanto a qualidade das amostras de DLMs no espaço de incorporação, com efeitos substancialmente diferentes da difusão discreta. Reunindo todos os elementos, o LangFlow rivaliza com os melhores DLMs discretos tanto na perplexidade (PPL) quanto na perplexidade gerativa (Gen. PPL), atingindo uma PPL de 30,0 no LM1B e 24,6 no OpenWebText. Ele até supera as linhas de base autoregressivas na transferência zero-shot em 4 de 7 benchmarks. O LangFlow fornece a primeira evidência clara de que a difusão contínua é um paradigma promissor para a modelagem de linguagem. Página inicial: https://github.com/nealchen2003/LangFlow
English
Continuous diffusion has been the foundation of high-fidelity, controllable, and few-step generation of many data modalities such as images. However, in language modeling, prior continuous diffusion language models (DLMs) lag behind discrete counterparts due to the sparse data space and the underexplored design space. In this work, we close this gap with LangFlow, the first continuous DLM to rival discrete diffusion, by connecting embedding-space DLMs to Flow Matching via Bregman divergence, alongside three key innovations: (1) we derive a novel ODE-based NLL bound for principled evaluation of continuous flow-based language models; (2) we propose an information-uniform principle for setting the noise schedule, which motivates a learnable noise scheduler based on a Gumbel distribution; and (3) we revise prior training protocols by incorporating self-conditioning, as we find it improves both likelihood and sample quality of embedding-space DLMs with effects substantially different from discrete diffusion. Putting everything together, LangFlow rivals top discrete DLMs on both the perplexity (PPL) and the generative perplexity (Gen. PPL), reaching a PPL of 30.0 on LM1B and 24.6 on OpenWebText. It even exceeds autoregressive baselines in zero-shot transfer on 4 out of 7 benchmarks. LangFlow provides the first clear evidence that continuous diffusion is a promising paradigm for language modeling. Homepage: https://github.com/nealchen2003/LangFlow