О роли дискретности в диффузионных языковых моделях
On the Role of Discreteness in Diffusion LLMs
December 27, 2025
Авторы: Ziqi Jin, Bin Wang, Xiang Lin, Lidong Bing, Aixin Sun
cs.AI
Аннотация
Диффузионные модели обладают привлекательными свойствами для генерации языка, такими как параллельное декодирование и итеративное уточнение, однако дискретная и сильно структурированная природа текста создает трудности для прямого применения принципов диффузии. В данной статье мы пересматриваем диффузионное языковое моделирование с точки зрения процесса диффузии и языкового моделирования, и выделяем пять свойств, которые отделяют механику диффузии от языковых требований. Сначала мы классифицируем существующие подходы на непрерывную диффузию в пространстве эмбеддингов и дискретную диффузию над токенами. Затем мы показываем, что каждый из подходов удовлетворяет лишь части пяти существенных свойств и, следовательно, отражает структурный компромисс. На основе анализа недавних крупных диффузионных языковых моделей мы выявляем две центральные проблемы: (i) равномерная порча не учитывает распределение информации по позициям, и (ii) маргинальное обучение на уровне токенов не способно уловить зависимости между несколькими токенами при параллельном декодировании. Эти наблюдения мотивируют разработку процессов диффузии, которые более тесно согласуются со структурой текста, и стимулируют дальнейшие исследования в направлении создания более связных диффузионных языковых моделей.
English
Diffusion models offer appealing properties for language generation, such as parallel decoding and iterative refinement, but the discrete and highly structured nature of text challenges the direct application of diffusion principles. In this paper, we revisit diffusion language modeling from the view of diffusion process and language modeling, and outline five properties that separate diffusion mechanics from language-specific requirements. We first categorize existing approaches into continuous diffusion in embedding space and discrete diffusion over tokens. We then show that each satisfies only part of the five essential properties and therefore reflects a structural trade-off. Through analyses of recent large diffusion language models, we identify two central issues: (i) uniform corruption does not respect how information is distributed across positions, and (ii) token-wise marginal training cannot capture multi-token dependencies during parallel decoding. These observations motivate diffusion processes that align more closely with the structure of text, and encourage future work toward more coherent diffusion language models.