LangFlow : La diffusion continue rivalise avec les méthodes discrètes en modélisation du langage
LangFlow: Continuous Diffusion Rivals Discrete in Language Modeling
April 15, 2026
Auteurs: Yuxin Chen, Chumeng Liang, Hangke Sui, Ruihan Guo, Chaoran Cheng, Jiaxuan You, Ge Liu
cs.AI
Résumé
La diffusion continue a constitué la base de la génération haute fidélité, contrôlable et à faible nombre d’étapes pour de nombreuses modalités de données telles que les images. Cependant, en modélisation du langage, les modèles de langage à diffusion continue (DLM) antérieurs restent inférieurs à leurs équivalents discrets en raison de l’espace de données sparse et du champ de conception encore peu exploré. Dans ce travail, nous comblons cet écart avec LangFlow, le premier DLM continu rivalisant avec la diffusion discrète, en connectant les DLM dans l’espace des plongements lexicaux au *Flow Matching* via la divergence de Bregman, accompagnés de trois innovations clés : (1) nous dérivons une nouvelle borne de vraisemblance négative (NLL) basée sur une EDO pour l’évaluation principlée des modèles de langage continus fondés sur les flux ; (2) nous proposons un principe d’uniformité informationnelle pour paramétrer le plan de bruit, qui motive un planificateur de bruit apprenable basé sur une distribution de Gumbel ; et (3) nous révisons les protocoles d’entraînement antérieurs en intégrant l’auto-conditionnement, car nous constatons qu’il améliore à la fois la vraisemblance et la qualité des échantillons des DLM dans l’espace des plongements, avec des effets substantiellement différents de la diffusion discrète. En combinant ces éléments, LangFlow rivalise avec les meilleurs DLM discrets à la fois en termes de perplexité (PPL) et de perplexité générative (Gen. PPL), atteignant une PPL de 30,0 sur LM1B et 24,6 sur OpenWebText. Il dépasse même les modèles autorégressifs de référence en transfert *zero-shot* sur 4 des 7 benchmarks. LangFlow fournit la première preuve claire que la diffusion continue est un paradigme prometteur pour la modélisation du langage. Page d’accueil : https://github.com/nealchen2003/LangFlow
English
Continuous diffusion has been the foundation of high-fidelity, controllable, and few-step generation of many data modalities such as images. However, in language modeling, prior continuous diffusion language models (DLMs) lag behind discrete counterparts due to the sparse data space and the underexplored design space. In this work, we close this gap with LangFlow, the first continuous DLM to rival discrete diffusion, by connecting embedding-space DLMs to Flow Matching via Bregman divergence, alongside three key innovations: (1) we derive a novel ODE-based NLL bound for principled evaluation of continuous flow-based language models; (2) we propose an information-uniform principle for setting the noise schedule, which motivates a learnable noise scheduler based on a Gumbel distribution; and (3) we revise prior training protocols by incorporating self-conditioning, as we find it improves both likelihood and sample quality of embedding-space DLMs with effects substantially different from discrete diffusion. Putting everything together, LangFlow rivals top discrete DLMs on both the perplexity (PPL) and the generative perplexity (Gen. PPL), reaching a PPL of 30.0 on LM1B and 24.6 on OpenWebText. It even exceeds autoregressive baselines in zero-shot transfer on 4 out of 7 benchmarks. LangFlow provides the first clear evidence that continuous diffusion is a promising paradigm for language modeling. Homepage: https://github.com/nealchen2003/LangFlow