LangFlow: La Difusión Continua Rivaliza con la Discreta en Modelado del Lenguaje
LangFlow: Continuous Diffusion Rivals Discrete in Language Modeling
April 15, 2026
Autores: Yuxin Chen, Chumeng Liang, Hangke Sui, Ruihan Guo, Chaoran Cheng, Jiaxuan You, Ge Liu
cs.AI
Resumen
La difusión continua ha sido la base para la generación de alta fidelidad, controlable y en pocos pasos de muchas modalidades de datos, como las imágenes. Sin embargo, en el modelado del lenguaje, los modelos de lenguaje de difusión continua (DLM) previos han estado por detrás de sus homólogos discretos debido al espacio de datos disperso y al espacio de diseño poco explorado. En este trabajo, cerramos esta brecha con LangFlow, el primer DLM continuo que rivaliza con la difusión discreta, conectando los DLM en el espacio de incrustaciones con Flow Matching mediante la divergencia de Bregman, junto con tres innovaciones clave: (1) derivamos un nuevo límite NLL basado en EDO para una evaluación rigurosa de los modelos de lenguaje continuos basados en flujos; (2) proponemos un principio de uniformidad de la información para establecer el programa de ruido, lo que motiva un programador de ruido entrenable basado en una distribución Gumbel; y (3) revisamos los protocolos de entrenamiento previos incorporando el auto-condicionamiento, ya que descubrimos que mejora tanto la verosimilitud como la calidad de las muestras de los DLM en el espacio de incrustaciones, con efectos sustancialmente diferentes a los de la difusión discreta. Uniendo todo, LangFlow rivaliza con los mejores DLM discretos tanto en la perplejidad (PPL) como en la perplejidad generativa (Gen. PPL), alcanzando una PPL de 30.0 en LM1B y 24.6 en OpenWebText. Incluso supera a los modelos autoregresivos de referencia en la transferencia zero-shot en 4 de 7 benchmarks. LangFlow proporciona la primera evidencia clara de que la difusión continua es un paradigma prometedor para el modelado del lenguaje. Página web: https://github.com/nealchen2003/LangFlow
English
Continuous diffusion has been the foundation of high-fidelity, controllable, and few-step generation of many data modalities such as images. However, in language modeling, prior continuous diffusion language models (DLMs) lag behind discrete counterparts due to the sparse data space and the underexplored design space. In this work, we close this gap with LangFlow, the first continuous DLM to rival discrete diffusion, by connecting embedding-space DLMs to Flow Matching via Bregman divergence, alongside three key innovations: (1) we derive a novel ODE-based NLL bound for principled evaluation of continuous flow-based language models; (2) we propose an information-uniform principle for setting the noise schedule, which motivates a learnable noise scheduler based on a Gumbel distribution; and (3) we revise prior training protocols by incorporating self-conditioning, as we find it improves both likelihood and sample quality of embedding-space DLMs with effects substantially different from discrete diffusion. Putting everything together, LangFlow rivals top discrete DLMs on both the perplexity (PPL) and the generative perplexity (Gen. PPL), reaching a PPL of 30.0 on LM1B and 24.6 on OpenWebText. It even exceeds autoregressive baselines in zero-shot transfer on 4 out of 7 benchmarks. LangFlow provides the first clear evidence that continuous diffusion is a promising paradigm for language modeling. Homepage: https://github.com/nealchen2003/LangFlow