LangFlow: Непрерывная диффузия конкурирует с дискретными подходами в языковом моделировании

LangFlow: Continuous Diffusion Rivals Discrete in Language Modeling

April 15, 2026

Авторы: Yuxin Chen, Chumeng Liang, Hangke Sui, Ruihan Guo, Chaoran Cheng, Jiaxuan You, Ge Liu

cs.AI

Аннотация

Непрерывная диффузия стала основой для высококачественного, управляемого и быстрого (за несколько шагов) генерации различных типов данных, таких как изображения. Однако в области языкового моделирования предыдущие модели непрерывной диффузии (continuous diffusion language models, DLMs) отставали от дискретных аналогов из-за разреженного пространства данных и недостаточно изученного пространства проектных решений. В данной работе мы устраняем этот разрыв с помощью LangFlow — первой непрерывной DLM, способной конкурировать с дискретной диффузией, — связывая DLM в пространстве эмбеддингов с методом сопоставления потоков (Flow Matching) через дивергенцию Брегмана, а также предлагая три ключевых нововведения: (1) мы выводим новую нижнюю оценку NLL на основе ОДУ для принципиальной оценки непрерывных языковых моделей на основе потоков; (2) мы предлагаем принцип информационной равномерности для установки графика зашумления, который обосновывает обучаемый планировщик шума на основе распределения Гумбеля; и (3) мы пересматриваем предыдущие протоколы обучения, включая самокондиционирование (self-conditioning), так как обнаружили, что оно улучшает как правдоподобие, так и качество сэмплов для DLM в пространстве эмбеддингов, причем его эффекты существенно отличаются от дискретной диффузии. Объединив все компоненты, LangFlow конкурирует с лучшими дискретными DLM как по перплексии (PPL), так и по генеративной перплексии (Gen. PPL), достигая PPL 30.0 на LM1B и 24.6 на OpenWebText. Она даже превосходит авторегрессионные базовые модели в условиях zero-shot переноса на 4 из 7 тестовых наборов. LangFlow представляет первое четкое свидетельство того, что непрерывная диффузия является перспективной парадигмой для языкового моделирования. Домашняя страница: https://github.com/nealchen2003/LangFlow

English

Continuous diffusion has been the foundation of high-fidelity, controllable, and few-step generation of many data modalities such as images. However, in language modeling, prior continuous diffusion language models (DLMs) lag behind discrete counterparts due to the sparse data space and the underexplored design space. In this work, we close this gap with LangFlow, the first continuous DLM to rival discrete diffusion, by connecting embedding-space DLMs to Flow Matching via Bregman divergence, alongside three key innovations: (1) we derive a novel ODE-based NLL bound for principled evaluation of continuous flow-based language models; (2) we propose an information-uniform principle for setting the noise schedule, which motivates a learnable noise scheduler based on a Gumbel distribution; and (3) we revise prior training protocols by incorporating self-conditioning, as we find it improves both likelihood and sample quality of embedding-space DLMs with effects substantially different from discrete diffusion. Putting everything together, LangFlow rivals top discrete DLMs on both the perplexity (PPL) and the generative perplexity (Gen. PPL), reaching a PPL of 30.0 on LM1B and 24.6 on OpenWebText. It even exceeds autoregressive baselines in zero-shot transfer on 4 out of 7 benchmarks. LangFlow provides the first clear evidence that continuous diffusion is a promising paradigm for language modeling. Homepage: https://github.com/nealchen2003/LangFlow