LangFlow: La diffusione continua rivaleggia con quella discreta nella modellazione del linguaggio

LangFlow: Continuous Diffusion Rivals Discrete in Language Modeling

April 15, 2026

Autori: Yuxin Chen, Chumeng Liang, Hangke Sui, Ruihan Guo, Chaoran Cheng, Jiaxuan You, Ge Liu

cs.AI

Abstract

La diffusione continua è stata la base per la generazione ad alta fedeltà, controllabile e in pochi passaggi di molte modalità di dati come le immagini. Tuttavia, nella modellazione del linguaggio, i precedenti modelli linguistici a diffusione continua (DLM) rimangono indietro rispetto alle controparti discrete a causa dello spazio dati sparso e dello spazio di progettazione poco esplorato. In questo lavoro, colmiamo questa lacuna con LangFlow, il primo DLM continuo in grado di rivaleggiare con la diffusione discreta, collegando i DLM nello spazio degli embedding al Flow Matching tramite la divergenza di Bregman, insieme a tre innovazioni chiave: (1) deriviamo un nuovo limite NLL basato su ODE per la valutazione principiata dei modelli linguistici continui basati su flusso; (2) proponiamo un principio di uniformità dell'informazione per impostare la schedulazione del rumore, che motiva uno schedulatore di rumore apprendibile basato su una distribuzione di Gumbel; e (3) rivediamo i protocolli di addestramento precedenti incorporando l'auto-condizionamento, poiché riteniamo che migliori sia la likelihood che la qualità del campione dei DLM nello spazio degli embedding, con effetti sostanzialmente diversi dalla diffusione discreta. Mettendo tutto insieme, LangFlow rivaleggia con i migliori DLM discreti sia nella perplexity (PPL) che nella perplexity generativa (Gen. PPL), raggiungendo una PPL di 30.0 su LM1B e 24.6 su OpenWebText. Supera persino i baseline autoregressivi nel trasferimento zero-shot su 4 su 7 benchmark. LangFlow fornisce la prima chiara evidenza che la diffusione continua è un paradigma promettente per la modellazione del linguaggio. Homepage: https://github.com/nealchen2003/LangFlow

English

Continuous diffusion has been the foundation of high-fidelity, controllable, and few-step generation of many data modalities such as images. However, in language modeling, prior continuous diffusion language models (DLMs) lag behind discrete counterparts due to the sparse data space and the underexplored design space. In this work, we close this gap with LangFlow, the first continuous DLM to rival discrete diffusion, by connecting embedding-space DLMs to Flow Matching via Bregman divergence, alongside three key innovations: (1) we derive a novel ODE-based NLL bound for principled evaluation of continuous flow-based language models; (2) we propose an information-uniform principle for setting the noise schedule, which motivates a learnable noise scheduler based on a Gumbel distribution; and (3) we revise prior training protocols by incorporating self-conditioning, as we find it improves both likelihood and sample quality of embedding-space DLMs with effects substantially different from discrete diffusion. Putting everything together, LangFlow rivals top discrete DLMs on both the perplexity (PPL) and the generative perplexity (Gen. PPL), reaching a PPL of 30.0 on LM1B and 24.6 on OpenWebText. It even exceeds autoregressive baselines in zero-shot transfer on 4 out of 7 benchmarks. LangFlow provides the first clear evidence that continuous diffusion is a promising paradigm for language modeling. Homepage: https://github.com/nealchen2003/LangFlow