LangFlow: Kontinuierliche Diffusion konkurriert mit diskreten Ansätzen im Sprachmodellierung

LangFlow: Continuous Diffusion Rivals Discrete in Language Modeling

April 15, 2026

Autoren: Yuxin Chen, Chumeng Liang, Hangke Sui, Ruihan Guo, Chaoran Cheng, Jiaxuan You, Ge Liu

cs.AI

Zusammenfassung

Kontinuierliche Diffusion bildet die Grundlage für hochwertige, steuerbare und schrittminimierte Erzeugung vieler Datenmodalitäten wie Bilder. Im Sprachmodellieren hingegen hinken bisherige kontinuierliche Diffusions-Sprachmodelle (DLMs) ihren diskreten Gegenstücken aufgrund des稀疏en Datenraums und des unzureichend erforschten Designraums hinterher. In dieser Arbeit schließen wir diese Lücke mit LangFlow, dem ersten kontinuierlichen DLM, das mit diskreter Diffusion konkurrieren kann, indem wir Einbettungsraum-DLMs über die Bregman-Divergenz mit Flow Matching verbinden, ergänzt durch drei Schlüsselinnovationen: (1) Wir leiten eine neuartige ODE-basierte NLL-Schranke für eine prinzipiengeleitete Evaluation kontinuierlicher flow-basierter Sprachmodelle her; (2) wir schlagen ein informationseinheitliches Prinzip zur Einstellung des Noise-Schedules vor, das einen lernbaren Noise-Scheduler auf Basis einer Gumbel-Verteilung motiviert; und (3) wir überarbeiten bisherige Trainingsprotokolle durch die Integration von Self-Conditioning, da wir feststellen, dass es sowohl die Likelihood als auch die Probenqualität von Einbettungsraum-DLMs verbessert, mit wesentlich anderen Effekten als bei diskreter Diffusion. Im Zusammenspiel rivalisiert LangFlow mit den besten diskreten DLMs sowohl bei der Perplexity (PPL) als auch der generativen Perplexity (Gen. PPL), erreicht eine PPL von 30,0 auf LM1B und 24,6 auf OpenWebText. Es übertrifft sogar autoregressive Baselines beim Zero-Shot-Transfer in 4 von 7 Benchmarks. LangFlow liefert den ersten klaren Beleg, dass kontinuierliche Diffusion ein vielversprechendes Paradigma für Sprachmodellierung ist. Homepage: https://github.com/nealchen2003/LangFlow

English

Continuous diffusion has been the foundation of high-fidelity, controllable, and few-step generation of many data modalities such as images. However, in language modeling, prior continuous diffusion language models (DLMs) lag behind discrete counterparts due to the sparse data space and the underexplored design space. In this work, we close this gap with LangFlow, the first continuous DLM to rival discrete diffusion, by connecting embedding-space DLMs to Flow Matching via Bregman divergence, alongside three key innovations: (1) we derive a novel ODE-based NLL bound for principled evaluation of continuous flow-based language models; (2) we propose an information-uniform principle for setting the noise schedule, which motivates a learnable noise scheduler based on a Gumbel distribution; and (3) we revise prior training protocols by incorporating self-conditioning, as we find it improves both likelihood and sample quality of embedding-space DLMs with effects substantially different from discrete diffusion. Putting everything together, LangFlow rivals top discrete DLMs on both the perplexity (PPL) and the generative perplexity (Gen. PPL), reaching a PPL of 30.0 on LM1B and 24.6 on OpenWebText. It even exceeds autoregressive baselines in zero-shot transfer on 4 out of 7 benchmarks. LangFlow provides the first clear evidence that continuous diffusion is a promising paradigm for language modeling. Homepage: https://github.com/nealchen2003/LangFlow