LangFlow: 言語モデリングにおける連続拡散の離散的手法との拮抗

LangFlow: Continuous Diffusion Rivals Discrete in Language Modeling

April 15, 2026

著者: Yuxin Chen, Chumeng Liang, Hangke Sui, Ruihan Guo, Chaoran Cheng, Jiaxuan You, Ge Liu

cs.AI

要旨

連続拡散は、画像などの多くのデータモダリティにおいて、高精度で制御可能、かつ少ステップ生成の基盤となってきた。しかし、言語モデリングにおいては、従来の連続拡散言語モデル（DLM）は、データ空間の疎性と未開拓の設計空間が原因で、離散型のモデルに後れを取っていた。本研究では、このギャップを埋める LangFlow を提案する。これは埋め込み空間のDLMをブレグマン距離を介してフローマッチングと接続し、以下の三つの重要な革新と組み合わせることで、離散拡散に対抗する初の連続DLMを実現した。(1) 連続フロー型言語モデルの原理的評価のための、新しいODEベースのNLL境界を導出。(2) ノイズスケジュール設定のための情報均一性原理を提案し、これがガンベル分布に基づく学習可能なノイズスケジューラの動機付けとなる。(3) 自己条件付けを組み込むことで従来の訓練プロトコルを改訂。これは、離散拡散とは大きく異なる効果で、埋め込み空間DLMの尤度とサンプル品質の両方を向上させることを見出した。これらを統合した LangFlow は、パープレキシティ（PPL）と生成的パープレキシティ（Gen. PPL）の両方において、トップクラスの離散DLMと互角の性能を発揮し、LM1BでPPL 30.0、OpenWebTextで24.6を達成した。さらに、7つのベンチマークのうち4つにおいて、ゼロショット転移で自己回帰ベースラインを上回った。LangFlowは、連続拡散が言語モデリングの有望なパラダイムであることを示す初の明確な証拠を提供する。ホームページ: https://github.com/nealchen2003/LangFlow

English

Continuous diffusion has been the foundation of high-fidelity, controllable, and few-step generation of many data modalities such as images. However, in language modeling, prior continuous diffusion language models (DLMs) lag behind discrete counterparts due to the sparse data space and the underexplored design space. In this work, we close this gap with LangFlow, the first continuous DLM to rival discrete diffusion, by connecting embedding-space DLMs to Flow Matching via Bregman divergence, alongside three key innovations: (1) we derive a novel ODE-based NLL bound for principled evaluation of continuous flow-based language models; (2) we propose an information-uniform principle for setting the noise schedule, which motivates a learnable noise scheduler based on a Gumbel distribution; and (3) we revise prior training protocols by incorporating self-conditioning, as we find it improves both likelihood and sample quality of embedding-space DLMs with effects substantially different from discrete diffusion. Putting everything together, LangFlow rivals top discrete DLMs on both the perplexity (PPL) and the generative perplexity (Gen. PPL), reaching a PPL of 30.0 on LM1B and 24.6 on OpenWebText. It even exceeds autoregressive baselines in zero-shot transfer on 4 out of 7 benchmarks. LangFlow provides the first clear evidence that continuous diffusion is a promising paradigm for language modeling. Homepage: https://github.com/nealchen2003/LangFlow